Sqoop
Gandalf_lee
互联网大厂从事数据挖掘,机器学习相关技术工作。
展开
-
通过Sqoop实现Mysql / Oracle 与HDFS / Hbase互导数据
下文将重点说明通过Sqoop实现Mysql与HDFS互导数据,Mysql与Hbase,Oracle与Hbase的互导最后给出命令。一、Mysql与HDFS互导数据环境:宿主机器操作系统为Win7,Mysql安装在宿主机上,宿主机地址为192.168.66.963台虚拟机操作系统为Ubuntu-12.04.1-32位三台虚拟机已成功安装hadoop,并实现免密钥互访,配hosts原创 2013-06-10 09:59:12 · 8837 阅读 · 0 评论 -
【甘道夫】Sqoop1.99.3基础操作--导入Oracle的数据到HDFS
Sqoop1.99.3基础操作--导入Oracle的数据到HDFS原创 2014-06-27 14:58:52 · 3006 阅读 · 4 评论 -
【甘道夫】Sqoop1.4.4 实现将 Oracle10g 中的增量数据导入 Hive0.13.1 ,并更新Hive中的主表
需求将Oracle中的业务基础表增量数据导入Hive中,与当前的全量表合并为最新的全量表。设计涉及的三张表:全量表:保存了截止上一次同步时间的全量基础数据表增量表:增量临时表更新后的全量表:更新后的全量数据表步骤:通过Sqoop将Oracle中的表导入Hive,模拟全量表和增量表通过Hive将“全量原创 2014-08-21 19:14:08 · 4103 阅读 · 1 评论 -
【甘道夫】实现Hive数据同步更新的shell脚本
引言:上一篇文章《【甘道夫】Sqoop1.4.4 实现将 Oracle10g 中的增量数据导入 Hive0.13.1 ,并更新Hive中的主表》http://blog.csdn.net/u010967382/article/details/38735381 描述了增量更新Hive表的原理和Sqoop,Hive命令,本文基于上一篇文章的内容实现了shell脚本的编写,稍加修改就可用于实际工程原创 2014-08-25 18:20:33 · 2627 阅读 · 0 评论 -
【甘道夫】Sqoop1.4.4原生增量导入特性探秘
原始思路要想实现增量导入,完全可以不使用Sqoop的原生增量特性,仅使用shell脚本生成一个以当前时间为基准的固定时间范围,然后拼接Sqoop命令语句即可。原生增量导入特性简介Sqoop提供了原生增量导入的特性,包含以下三个关键参数:ArgumentDescription--check-column (col原创 2014-08-27 18:33:44 · 2917 阅读 · 1 评论 -
【甘道夫】Hadoop2.2.0环境使用Sqoop-1.4.4将Oracle11g数据导入HBase0.96,并自动生成组合行键
【甘道夫】Hadoop2.2.0环境使用sqoop-1.4.4将Oracle11g数据导入HBase0.96,并自动生成组合行键原创 2014-07-02 11:33:53 · 3982 阅读 · 1 评论