Sqoop
我爱大海V5
从事互联网工作
展开
-
Sqoop安装过程详解
Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。 Sqoop官方版本:http://apache.dataguru.cn/sqoop/1.4.2/Sqoop CDH版本:http://archiv原创 2013-11-28 17:29:49 · 778 阅读 · 0 评论 -
SQOOP与ORACLE交互要注意的地方
SQOOP与ORACLE交互要注意的地方 SQOOP与ORACLE交互的时候,用户名和表名需呀大小,否则会不显示任何结果。如下: [hadoop@htbbs bin]$ ./sqoop list-tables --connect jdbc:oracle:thin:@172.30.1.230:1521:rtt --username RTT --passwor原创 2013-11-29 11:48:25 · 2595 阅读 · 0 评论 -
Sqoop配置安装
http://datalife.iteye.com/blog/909748Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导入到Hadoop的HDFS中,也可以将HDFS的数据导入到关系型数据库中。 Sqoop的User Guide地址:http:转载 2013-11-29 09:37:54 · 804 阅读 · 0 评论 -
CentOS下sqoop配置安装
需要用到Sqoop将原来mysql中的数据导入到HBase,以下是安装配置Sqoop的步骤和问题记录:1. 项目用到的hadoop的版本是1.1.2,所以对应的sqoop是sqoop-1.4.4.bin__hadoop-1.0.0,mysql的jdbc是mysql-connector-java-5.1.6-bin.jar解压缩sqoop安装文件[hadoop@nod原创 2013-11-29 10:36:09 · 3837 阅读 · 0 评论 -
CentOS下sqoop的配置安装(整理篇)
需要用到Sqoop将原来mysql中的数据导入到HBase,以下是安装配置Sqoop的步骤和问题记录:1. 项目用到的hadoop的版本是1.1.2,所以对应的sqoop是sqoop-1.4.4.bin__hadoop-1.0.0,mysql的jdbc是mysql-connector-java-5.1.6-bin.jar解压缩sqoop安装文件2.重命名配置文件原创 2013-11-29 11:22:37 · 1206 阅读 · 0 评论 -
利用SQOOP将数据从数据库导入到HDFS
http://www.cnblogs.com/gpcuster/archive/2011/03/01/1968027.html基本使用如下面这个shell脚本:#Oracle的连接字符串,其中包含了Oracle的地址,SID,和端口号CONNECTURL=jdbc:oracle:thin:@20.135.60.21:1521:DWRAC2#使用的用户名ORA转载 2013-11-29 12:16:52 · 925 阅读 · 0 评论 -
Hadoop数据传输工具sqoop
Sqoop Hadoop 数据传输目录(?)[+]概述sqoop是Apache顶级项目,主要用来在Hadoop和关系数据库中传递数据。通过sqoop,我们可以方便的将数据从关系数据库导入到HDFS,或者将数据从HDFS导出到关系数据库。sqoop架构:sqoop架构非常简单,其整合了Hive、Hbase和Oozie,通过map-red转载 2013-11-29 14:06:13 · 1045 阅读 · 0 评论 -
Hadoop数据工具sqoop,导入HDFS,HIVE,HBASE,导出到oracle
1. sqoop从oracle导入到HDFS[hadoop@slave-245 ~]$ sqoop import --append --connect jdbc:oracle:thin:@172.30.1.215:1521:rtt --username RTT --password 123 --target-dir /user/hadoop/test2 -m 4 --table CFG_MO原创 2013-11-29 14:41:38 · 3038 阅读 · 0 评论 -
sqoop从HIVE导出元数据到oracle数据库中实例
1. 首先要在oracle数据库中创建需要导入的目的表,表的字段顺序要和HIVE的源表的字段定义顺序一致。类型相对应。 例如HIVE中的cfg_moudle_limit的表结构如图元数据如图:oracle的目的表结构如图:2 .sqoop执行导出:查询导入结果:原创 2013-12-02 09:47:02 · 3412 阅读 · 0 评论