利用Sqoop将数据从数据库导入到HDFS

最新推荐文章于 2021-12-21 14:03:59 发布
最新推荐文章于 2021-12-21 14:03:59 发布
阅读量291 收藏
点赞数
分类专栏： hadoop 文章标签： 数据库 大数据 java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/iteye_3156/article/details/82272094
版权

基本使用

如下面这个shell脚本：

#Oracle的连接字符串，其中包含了Oracle的地址，SID，和端口号
CONNECTURL=jdbc:oracle:thin:@20.135.60.21:1521:DWRAC2
#使用的用户名
ORACLENAME=kkaa
#使用的密码
ORACLEPASSWORD=kkaa123
#需要从Oracle中导入的表名
oralceTableName=tt
#需要从Oracle中导入的表中的字段名
columns=AREA_ID,TEAM_NAME
#将Oracle中的数据导入到HDFS后的存放路径
hdfsPath=apps/as/hive/$oralceTableName

#执行导入逻辑。将Oracle中的数据导入到HDFS中
sqoop import --append --connect $CONNECTURL --username $ORACLENAME --password $ORACLEPASSWORD --target-dir $hdfsPath  --num-mappers 1 --table $oralceTableName --columns $columns --fields-terminated-by '\001'

执行这个脚本之后，导入程序就完成了。

接下来，用户可以自己创建外部表，将外部表的路径和HDFS中存放Oracle数据的路径对应上即可。

注意：这个程序导入到HDFS中的数据是文本格式，所以在创建Hive外部表的时候，不需要指定文件的格式为RCFile，而使用默认的TextFile即可。数据间的分隔符为'\001'。如果多次导入同一个表中的数据，数据以append的形式插入到HDFS目录中。

并行导入

假设有这样这个sqoop命令，需要将Oracle中的数据导入到HDFS中：

sqoop import --append --connect $CONNECTURL --username $ORACLENAME --password $ORACLEPASSWORD --target-dir $hdfsPath  --m 1 --table $oralceTableName --columns $columns --fields-terminated-by '\001'  --where "data_desc='2011-02-26'"

请注意，在这个命令中，有一个参数“-m”，代表的含义是使用多少个并行，这个参数的值是1，说明没有开启并行功能。

现在，我们可以将“-m”参数的值调大，使用并行导入的功能，如下面这个命令：

sqoop import --append --connect $CONNECTURL --username $ORACLENAME --password $ORACLEPASSWORD --target-dir $hdfsPath  --m 4 --table $oralceTableName --columns $columns --fields-terminated-by '\001'  --where "data_desc='2011-02-26'"

一般来说，Sqoop就会开启4个进程，同时进行数据的导入操作。

但是，如果从Oracle中导入的表没有主键，那么会出现如下的错误提示：

ERROR tool.ImportTool: Error during import: No primary key could be found for table creater_user.popt_cas_redirect_his. Please specify one with --split-by or perform a sequential import with '-m 1'.

在这种情况下，为了更好的使用Sqoop的并行导入功能，我们就需要从原理上理解Sqoop并行导入的实现机制。

如果需要并行导入的Oracle表的主键是id，并行的数量是4，那么Sqoop首先会执行如下一个查询：

select max(id) as max, select min(id) as min from table [where 如果指定了where子句];

通过这个查询，获取到需要拆分字段（id）的最大值和最小值，假设分别是1和1000。

然后，Sqoop会根据需要并行导入的数量，进行拆分查询，比如上面的这个例子，并行导入将拆分为如下4条SQL同时执行：

select * from table where 0 <= id < 250;

select * from table where 250 <= id < 500;

select * from table where 500 <= id < 750;

select * from table where 750 <= id < 1000;

注意，这个拆分的字段需要是整数。

从上面的例子可以看出，如果需要导入的表没有主键，我们应该如何手动选取一个合适的拆分字段，以及选择合适的并行数。

再举一个实际的例子来说明：

我们要从Oracle中导入creater_user.popt_cas_redirect_his。

这个表没有主键，所以我们需要手动选取一个合适的拆分字段。

首先看看这个表都有哪些字段：

然后，我假设ds_name字段是一个可以选取的拆分字段，然后执行下面的sql去验证我的想法：

select min(ds_name), max(ds_name) from creater_user.popt_cas_redirect_his where data_desc='2011-02-26'

发现结果不理想，min和max的值都是相等的。所以这个字段不合适作为拆分字段。

再测试一下另一个字段：CLIENTIP
select min(CLIENTIP), max(CLIENTIP) from creater_user.popt_cas_redirect_his where data_desc='2011-02-26'

这个结果还是不错的。所以我们使用CLIENTIP字段作为拆分字段。

所以，我们使用如下命令并行导入：

sqoop import --append --connect $CONNECTURL --username $ORACLENAME --password $ORACLEPASSWORD --target-dir $hdfsPath  --m 12 --split-by CLIENTIP --table $oralceTableName --columns $columns --fields-terminated-by '\001'  --where "data_desc='2011-02-26'"

这次执行这个命令，可以看到，消耗的时间为：20mins, 35sec，导入了33,222,896条数据。

另外，如果觉得这种拆分不能很好满足我们的需求，可以同时执行多个Sqoop命令，然后在where的参数后面指定拆分的规则。如：

sqoop import --append --connect $CONNECTURL --username $ORACLENAME --password $ORACLEPASSWORD --target-dir $hdfsPath  --m 1 --table $oralceTableName --columns $columns --fields-terminated-by '\001'  --where "data_desc='2011-02-26' logtime<10:00:00"

sqoop import --append --connect $CONNECTURL --username $ORACLENAME --password $ORACLEPASSWORD --target-dir $hdfsPath  --m 1 --table $oralceTableName --columns $columns --fields-terminated-by '\001'  --where "data_desc='2011-02-26' logtime>=10:00:00"

从而达到并行导入的目的。

 

/home/wanghai01/cloudera/sqoop-1.2.0-CDH3B4/bin/sqoop import --connect jdbc:mysql://XXXX/crm --username XX --password XX --table tb_keyword_data_201104 --split-by winfo_id --target-dir /user/wanghai01/data/ --fields-terminated-by '\t' --lines-terminated-by '\n' --input-null-string '' --input-null-non-string ''


/home/wanghai01/cloudera/sqoop-1.2.0-CDH3B4/bin/sqoop export --connect jdbc:mysql://XXXX/crm --username XX --password XX --table tb_keyword_data_201104 --export-dir /user/wanghai01/data/ --fields-terminated-by '\t' --lines-terminated-by '\n' --input-null-string '' --input-null-non-string ''

 

本篇文章来源于 Linux公社网站(www.linuxidc.com)  原文链接：http://www.linuxidc.com/Linux/2011-10/45080.htm 

更多关于Hadoop的文章，可以参考：http://www.cnblogs.com/gpcuster/tag/Hadoop/

===========================================

Sqoop有较多的命令和参数,我这里从实践和源码的角度将他们一一整理出来,这里Sqoop版本是1.3

        Sqoop大约有13种命令,和几种通用的参数(都支持这13种命令).这里先列出这13种命令.

 

 

序号命令/command类说明
1imporImportTool从关系型数据库中导入数据(来自表或者查询语句)到HDFS中
2exportExportTool将HDFS中的数据导入到关系型数据库中
3codegenCodeGenTool获取数据库中某张表数据生成Java并打成jar包
4create-hive-tableCreateHiveTableTool

创建Hive表

5evalEvalSqlTool查看SQL执行结果
6import-all-tablesImportAllTablesTool导入某个数据库下所有表到HDFS中
7jobJobTool 
8list-databasesListDatabasesTool列出所有数据库名
9list-tablesListTablesTool列出某个数据库下所有表
10mergeMergeTool 
11metastoreMetastoreTool 
12helpHelpTool查看帮助
13versionVersionTool查看版本

 

        接着列出Sqoop的各种通用参数,然后针对以上13个命令列出他们自己的参数.Sqoop通用参数又分Common arguments,Incremental import arguments,Output line formatting arguments,Input parsing arguments,Hive arguments,HBase arguments,Generic Hadoop command-line arguments,下面一一说明:

       1.Common arguments

           通用参数,主要是针对关系型数据库链接的一些参数

 

 

序号参数说明样例
1connect连接关系型数据库的URLjdbc:mysql://localhost/sqoop_datas
2connection-manager连接管理类,一般不用 
3driver连接驱动 
 
4hadoop-home hadoop目录/home/guoyun/hadoop
5help查看帮助信息 
6password连接关系型数据库的密码 
7username链接关系型数据库的用户名 
8verbose查看更多的信息,其实是将日志级别调低该参数后面不接值
 
 
===========================================
 
 
sqoop 导入数据 报 java heap space 错误
 
 

   使用sqoop导入数据时，当数据量变大时，在map/reduce的过程中就会提示 
  java heap space error。经过总结，解决方法有两个： 
  

    1、 修改每个运行子进程的jvm大小 
  
 
  

    修改mapred-site.xml文件，添加以下属性： 
  
 
  
 
   

     <property> 
   
 
   

      <name>mapred.child. 
    java.opts</name> 
   
 
   

      <value>-Xmx512M</value> 
   
 
   

     </property> 
   
 
   

     <property> 
   
 
   

      <name>mapred.reduce.child. 
    java.opts</name> 
   
 
   

      <value>-Xmx512M</value> 
   
 
   

     </property> 
   
 
   

     <property> 
   
 
   

      <name>mapred.map.child. 
    java.opts</name>? 
   
 
   

      <value>-Xmx512M</value> 
   
 
   

     </property> 
   
 
  
 
  
 
   
 
  
 
  

    2、 增加map数量，通过sqoop -m 选项指定更多的map。通过更多的map，降少每个子进程占用的heap space，避免超出hadoop设置的 
   java heap space 大小 
  
 
  

    sqoop ... -m <map 数量> 
  
 
  

    ================================================== 
  
 
  
 
   
12/02/08 14:36:52 ERROR tool.ImportTool: Error during import: Import job failed!
user@ubuntu:~$ sqoop-1.3/bin/sqoop import --append --connect jdbc:oracle:thin:@192.168.5.100:1522:orcl2 --username olapgz --password jt888 --m 5 --split-by id --table cb_vio2 --columns id,pzbh  --hbase-table cb_vio1 --hbase-create-table --column-family cb_viobase --hbase-row-key id --input-null-string '' --input-null-non-string ''
12/02/08 14:41:58 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead.
12/02/08 14:41:58 INFO manager.SqlManager: Using default fetchSize of 1000
12/02/08 14:41:58 INFO tool.CodeGenTool: Beginning code generation
12/02/08 14:41:59 INFO manager.OracleManager: Time zone has been set to GMT
12/02/08 14:41:59 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM cb_vio2 t WHERE 1=0
12/02/08 14:42:00 INFO orm.CompilationManager: HADOOP_HOME is /home/user/hadoop
12/02/08 14:42:02 INFO orm.CompilationManager: Writing jar file: /tmp/sqoop-user/compile/5fc8b26d1ba6035bb6c35eb6ed2f53c2/cb_vio2.jar
12/02/08 14:42:02 INFO mapreduce.ImportJobBase: Beginning import of cb_vio2
12/02/08 14:42:02 INFO security.UserGroupInformation: JAAS Configuration already set up for Hadoop, not re-installing.
12/02/08 14:42:03 INFO zookeeper.ZooKeeper: Client environment:zookeeper.version=3.3.4-cdh3u3--1, built on 01/26/2012 18:07 GMT
12/02/08 14:42:03 INFO zookeeper.ZooKeeper: Client environment:host.name=ubuntu
12/02/08 14:42:03 INFO zookeeper.ZooKeeper: Client environment:java.version=1.6.0_26
12/02/08 14:42:03 INFO zookeeper.ZooKeeper: Client environment:java.vendor=Sun Microsystems Inc.
12/02/08 14:42:03 INFO zookeeper.ZooKeeper: Client environment:java.home=/usr/lib/jvm/java-6-sun-1.6.0.26/jre
12/02/08 14:42:03 INFO zookeeper.ZooKeeper: Client environment:java.class.path=/home/user/hadoop/conf:/usr/lib/jvm/java-6-sun/lib/tools.jar:/home/user/hadoop:/home/user/hadoop/hadoop-core-0.20.2-cdh3u3.jar:/home/user/hadoop/lib/ant-contrib-1.0b3.jar:/home/user/hadoop/lib/aspectjrt-1.6.5.jar:/home/user/hadoop/lib/aspectjtools-1.6.5.jar:/home/user/hadoop/lib/commons-cli-1.2.jar:/home/user/hadoop/lib/commons-codec-1.4.jar:/home/user/hadoop/lib/commons-daemon-1.0.1.jar:/home/user/hadoop/lib/commons-el-1.0.jar:/home/user/hadoop/lib/commons-httpclient-3.1.jar:/home/user/hadoop/lib/commons-lang-2.4.jar:/home/user/hadoop/lib/commons-logging-1.0.4.jar:/home/user/hadoop/lib/commons-logging-api-1.0.4.jar:/home/user/hadoop/lib/commons-net-1.4.1.jar:/home/user/hadoop/lib/core-3.1.1.jar:/home/user/hadoop/lib/guava-r09-jarjar.jar:/home/user/hadoop/lib/hadoop-fairscheduler-0.20.2-cdh3u3.jar:/home/user/hadoop/lib/hsqldb-1.8.0.10.jar:/home/user/hadoop/lib/jackson-core-asl-1.5.2.jar:/home/user/hadoop/lib/jackson-mapper-asl-1.5.2.jar:/home/user/hadoop/lib/jasper-compiler-5.5.12.jar:/home/user/hadoop/lib/jasper-runtime-5.5.12.jar:/home/user/hadoop/lib/jets3t-0.6.1.jar:/home/user/hadoop/lib/jetty-6.1.26.cloudera.1.jar:/home/user/hadoop/lib/jetty-servlet-tester-6.1.26.cloudera.1.jar:/home/user/hadoop/lib/jetty-util-6.1.26.cloudera.1.jar:/home/user/hadoop/lib/jsch-0.1.42.jar:/home/user/hadoop/lib/junit-4.5.jar:/home/user/hadoop/lib/kfs-0.2.2.jar:/home/user/hadoop/lib/log4j-1.2.15.jar:/home/user/hadoop/lib/mockito-all-1.8.2.jar:/home/user/hadoop/lib/oro-2.0.8.jar:/home/user/hadoop/lib/servlet-api-2.5-20081211.jar:/home/user/hadoop/lib/servlet-api-2.5-6.1.14.jar:/home/user/hadoop/lib/slf4j-api-1.4.3.jar:/home/user/hadoop/lib/slf4j-log4j12-1.4.3.jar:/home/user/hadoop/lib/xmlenc-0.52.jar:/home/user/hadoop/lib/jsp-2.1/jsp-2.1.jar:/home/user/hadoop/lib/jsp-2.1/jsp-api-2.1.jar:/home/user/sqoop-1.3/bin/../conf::/home/user/sqoop-1.3/bin/../lib/ant-contrib-1.0b3.jar:/home/user/sqoop-1.3/bin/../lib/ant-eclipse-1.0-jvm1.2.jar:/home/user/sqoop-1.3/bin/../lib/avro-1.5.4.jar:/home/user/sqoop-1.3/bin/../lib/avro-ipc-1.5.4.jar:/home/user/sqoop-1.3/bin/../lib/avro-mapred-1.5.4.jar:/home/user/sqoop-1.3/bin/../lib/commons-io-1.4.jar:/home/user/sqoop-1.3/bin/../lib/hadoop-core-0.20.2-cdh3u3.jar:/home/user/sqoop-1.3/bin/../lib/hadoop-mrunit-0.20.2-CDH3b2-SNAPSHOT.jar:/home/user/sqoop-1.3/bin/../lib/jackson-core-asl-1.7.3.jar:/home/user/sqoop-1.3/bin/../lib/jackson-mapper-asl-1.7.3.jar:/home/user/sqoop-1.3/bin/../lib/jopt-simple-3.2.jar:/home/user/sqoop-1.3/bin/../lib/ojdbc14.jar:/home/user/sqoop-1.3/bin/../lib/paranamer-2.3.jar:/home/user/sqoop-1.3/bin/../lib/snappy-java-1.0.3.2.jar:/home/user/hadoop/hbase/conf:/usr/lib/jvm/java-6-sun/lib/tools.jar:/home/user/hadoop/hbase:/home/user/hadoop/hbase/hbase-0.90.4-cdh3u3.jar:/home/user/hadoop/hbase/hbase-0.90.4-cdh3u3-tests.jar:/home/user/hadoop/hbase/lib/activation-1.1.jar:/home/user/hadoop/hbase/lib/asm-3.1.jar:/home/user/hadoop/hbase/lib/avro-1.5.4.jar:/home/user/hadoop/hbase/lib/avro-ipc-1.5.4.jar:/home/user/hadoop/hbase/lib/commons-cli-1.2.jar:/home/user/hadoop/hbase/lib/commons-codec-1.4.jar:/home/user/hadoop/hbase/lib/commons-el-1.0.jar:/home/user/hadoop/hbase/lib/commons-httpclient-3.1.jar:/home/user/hadoop/hbase/lib/commons-lang-2.5.jar:/home/user/hadoop/hbase/lib/commons-logging-1.1.1.jar:/home/user/hadoop/hbase/lib/commons-net-1.4.1.jar:/home/user/hadoop/hbase/lib/core-3.1.1.jar:/home/user/hadoop/hbase/lib/guava-r06.jar:/home/user/hadoop/hbase/lib/guava-r09-jarjar.jar:/home/user/hadoop/hbase/lib/hadoop-core-0.20.2-cdh3u3.jar:/home/user/hadoop/hbase/lib/jackson-core-asl-1.5.2.jar:/home/user/hadoop/hbase/lib/jackson-jaxrs-1.5.5.jar:/home/user/hadoop/hbase/lib/jackson-mapper-asl-1.5.2.jar:/home/user/hadoop/hbase/lib/jackson-xc-1.5.5.jar:/home/user/hadoop/hbase/lib/jamon-runtime-2.3.1.jar:/home/user/hadoop/hbase/lib/jasper-compiler-5.5.23.jar:/home/user/hadoop/hbase/lib/jasper-runtime-5.5.23.jar:/home/user/hadoop/hbase/lib/jaxb-api-2.1.jar:/home/user/hadoop/hbase/lib/jaxb-impl-2.1.12.jar:/home/user/hadoop/hbase/lib/jersey-core-1.4.jar:/home/user/hadoop/hbase/lib/jersey-json-1.4.jar:/home/user/hadoop/hbase/lib/jersey-server-1.4.jar:/home/user/hadoop/hbase/lib/jettison-1.1.jar:/home/user/hadoop/hbase/lib/jetty-6.1.26.jar:/home/user/hadoop/hbase/lib/jetty-util-6.1.26.jar:/home/user/hadoop/hbase/lib/jruby-complete-1.6.0.jar:/home/user/hadoop/hbase/lib/jsp-2.1-6.1.14.jar:/home/user/hadoop/hbase/lib/jsp-api-2.1-6.1.14.jar:/home/user/hadoop/hbase/lib/jsp-api-2.1.jar:/home/user/hadoop/hbase/lib/jsr311-api-1.1.1.jar:/home/user/hadoop/hbase/lib/log4j-1.2.16.jar:/home/user/hadoop/hbase/lib/netty-3.2.4.Final.jar:/home/user/hadoop/hbase/lib/protobuf-java-2.3.0.jar:/home/user/hadoop/hbase/lib/servlet-api-2.5-6.1.14.jar:/home/user/hadoop/hbase/lib/servlet-api-2.5.jar:/home/user/hadoop/hbase/lib/slf4j-api-1.5.8.jar:/home/user/hadoop/hbase/lib/slf4j-log4j12-1.5.8.jar:/home/user/hadoop/hbase/lib/snappy-java-1.0.3.2.jar:/home/user/hadoop/hbase/lib/stax-api-1.0.1.jar:/home/user/hadoop/hbase/lib/thrift-0.2.0.jar:/home/user/hadoop/hbase/lib/velocity-1.5.jar:/home/user/hadoop/hbase/lib/xmlenc-0.52.jar:/home/user/hadoop/hbase/lib/zookeeper-3.3.4-cdh3u3.jar:/home/user/hadoop/conf:/home/user/hadoop/conf:/home/user/hadoop/hadoop-core-0.20.2-cdh3u3.jar:/home/user/hadoop/lib/ant-contrib-1.0b3.jar:/home/user/hadoop/lib/aspectjrt-1.6.5.jar:/home/user/hadoop/lib/aspectjtools-1.6.5.jar:/home/user/hadoop/lib/commons-cli-1.2.jar:/home/user/hadoop/lib/commons-codec-1.4.jar:/home/user/hadoop/lib/commons-daemon-1.0.1.jar:/home/user/hadoop/lib/commons-el-1.0.jar:/home/user/hadoop/lib/commons-httpclient-3.1.jar:/home/user/hadoop/lib/commons-lang-2.4.jar:/home/user/hadoop/lib/commons-logging-1.0.4.jar:/home/user/hadoop/lib/commons-logging-api-1.0.4.jar:/home/user/hadoop/lib/commons-net-1.4.1.jar:/home/user/hadoop/lib/core-3.1.1.jar:/home/user/hadoop/lib/guava-r09-jarjar.jar:/home/user/hadoop/lib/hadoop-fairscheduler-0.20.2-cdh3u3.jar:/home/user/hadoop/lib/hsqldb-1.8.0.10.jar:/home/user/hadoop/lib/jackson-core-asl-1.5.2.jar:/home/user/hadoop/lib/jackson-mapper-asl-1.5.2.jar:/home/user/hadoop/lib/jasper-compiler-5.5.12.jar:/home/user/hadoop/lib/jasper-runtime-5.5.12.jar:/home/user/hadoop/lib/jets3t-0.6.1.jar:/home/user/hadoop/lib/jetty-6.1.26.cloudera.1.jar:/home/user/hadoop/lib/jetty-servlet-tester-6.1.26.cloudera.1.jar:/home/user/hadoop/lib/jetty-util-6.1.26.cloudera.1.jar:/home/user/hadoop/lib/jsch-0.1.42.jar:/home/user/hadoop/lib/junit-4.5.jar:/home/user/hadoop/lib/kfs-0.2.2.jar:/home/user/hadoop/lib/log4j-1.2.15.jar:/home/user/hadoop/lib/mockito-all-1.8.2.jar:/home/user/hadoop/lib/oro-2.0.8.jar:/home/user/hadoop/lib/servlet-api-2.5-20081211.jar:/home/user/hadoop/lib/servlet-api-2.5-6.1.14.jar:/home/user/hadoop/lib/slf4j-api-1.4.3.jar:/home/user/hadoop/lib/slf4j-log4j12-1.4.3.jar:/home/user/hadoop/lib/xmlenc-0.52.jar:/home/user/sqoop-1.3/bin/../sqoop-1.3.0-cdh3u3.jar:/home/user/sqoop-1.3/bin/../sqoop-test-1.3.0-cdh3u3.jar:
12/02/08 14:42:03 INFO zookeeper.ZooKeeper: Client environment:java.library.path=/home/user/hadoop/lib/native/Linux-i386-32
12/02/08 14:42:03 INFO zookeeper.ZooKeeper: Client environment:java.io.tmpdir=/tmp
12/02/08 14:42:03 INFO zookeeper.ZooKeeper: Client environment:java.compiler=<NA>
12/02/08 14:42:03 INFO zookeeper.ZooKeeper: Client environment:os.name=Linux
12/02/08 14:42:03 INFO zookeeper.ZooKeeper: Client environment:os.arch=i386
12/02/08 14:42:03 INFO zookeeper.ZooKeeper: Client environment:os.version=2.6.32-37-generic-pae
12/02/08 14:42:03 INFO zookeeper.ZooKeeper: Client environment:user.name=user
12/02/08 14:42:03 INFO zookeeper.ZooKeeper: Client environment:user.home=/home/user
12/02/08 14:42:03 INFO zookeeper.ZooKeeper: Client environment:user.dir=/home/user
12/02/08 14:42:03 INFO zookeeper.ZooKeeper: Initiating client connection, connectString=server2:2181,ubuntu:2181,server5:2181 sessionTimeout=180000 watcher=hconnection
12/02/08 14:42:03 INFO zookeeper.ClientCnxn: Opening socket connection to server server5/192.168.5.7:2181
12/02/08 14:42:03 INFO zookeeper.ClientCnxn: Socket connection established to server5/192.168.5.7:2181, initiating session
12/02/08 14:42:03 INFO zookeeper.ClientCnxn: Session establishment complete on server server5/192.168.5.7:2181, sessionid = 0x2355a5cd9320032, negotiated timeout = 180000
12/02/08 14:42:04 INFO mapreduce.HBaseImportJob: Creating missing column family cb_viobase
12/02/08 14:42:04 INFO client.HBaseAdmin: Started disable of cb_vio1
12/02/08 14:42:06 INFO client.HBaseAdmin: Disabled cb_vio1
12/02/08 14:42:06 INFO client.HBaseAdmin: Started enable of cb_vio1
12/02/08 14:42:08 INFO client.HBaseAdmin: Enabled table cb_vio1
12/02/08 14:42:10 INFO db.DataDrivenDBInputFormat: BoundingValsQuery: SELECT MIN(id), MAX(id) FROM cb_vio2
12/02/08 14:42:17 WARN db.TextSplitter: Generating splits for a textual index column.
12/02/08 14:42:17 WARN db.TextSplitter: If your database sorts in a case-insensitive order, this may result in a partial import or duplicate records.
12/02/08 14:42:17 WARN db.TextSplitter: You are strongly encouraged to choose an integral split column.
12/02/08 14:42:18 INFO mapred.JobClient: Running job: job_201202071501_0012
12/02/08 14:42:19 INFO mapred.JobClient:  map 0% reduce 0%
12/02/08 14:42:30 INFO mapred.JobClient:  map 14% reduce 0%
12/02/08 14:42:34 INFO mapred.JobClient: Task Id : attempt_201202071501_0012_m_000001_0, Status : FAILED
java.lang.IllegalArgumentException: No columns to insert
        at org.apache.hadoop.hbase.client.HTable.validatePut(HTable.java:871)
        at org.apache.hadoop.hbase.client.HTable.doPut(HTable.java:691)
        at org.apache.hadoop.hbase.client.HTable.put(HTable.java:681)
        at com.cloudera.sqoop.hbase.HBasePutProcessor.accept(HBasePutProcessor.java:122)
        at com.cloudera.sqoop.mapreduce.DelegatingOutputFormat$DelegatingRecordWriter.write(DelegatingOutputFormat.java:132)
        at com.cloudera.sqoop.mapreduce.DelegatingOutputFormat$DelegatingRecordWriter.write(DelegatingOutputFormat.java:96)
        at org.apache.hadoop.mapred.MapTask$NewDirectOutputCollector.write(MapTask.java:531)
        at org.apache.hadoop.mapreduce.TaskInputOutputContext.write(TaskInputOutputContext.java:80)
        at com.cloudera.sqoop.mapreduce.HBaseImportMapper.map(HBaseImportMapper.java:40)
        at com.cloudera.sqoop.mapreduce.HBaseImportMapper.map(HBaseImportMapper.java:33)
        at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:144)
        at com.cloudera.sqoop.mapreduce.AutoProgressMap
12/02/08 14:42:36 INFO mapred.JobClient:  map 71% reduce 0%
12/02/08 14:42:42 INFO mapred.JobClient:  map 85% reduce 0%
12/02/08 14:42:43 INFO mapred.JobClient: Task Id : attempt_201202071501_0012_m_000001_1, Status : FAILED

  出现这一错误是在用多线程时，表的主键没有建造成的 
  
 
 
 


                

        

        




    

  


    


                



	

		

			

				
					
使用sqoop工具将数据从mysql数据库导入到HDFS和Hbase

				
			

			

				

					weixin_44961794的博客
				

				

					06-07
					
					1300
					
				

			

		

		

			
				
使用Sqoop进行数据导入



配置ssh的免密登录

终端输入：sudo service ssh restart重启ssh服务。

终端输入：sudo service mysql start开启mysql。

配置免密登陆：rm -rf ~/.ssh/再输入ssh-keygen敲三下回车



输入ssh-copy-id user@localhost



输入yes，需要输入passwor...

			
		

	



                

            
              



	

		

			

				
					
【Hadoop】通过Sqoop实现从MySQL导入数据到HDFS_hadoop数据导入

					
最新发布

				
			

			

				

					2401_84181986的博客
				

				

					04-17
					
					2398
					
				

			

		

		

			
				
当我们一打开虚拟机，总是要在 NameNode 节点上启动 Hdfs ，在 ResourceManager 节点上启动 yarn ，关闭的时候也是，这可能是一个烦人的操作！Hadoop集群的 hdfs，yarn，历史服务器，MySQL数据库，Sqoop工具，现在我们就可以开始从MySQL导入数据到 hdfs 了。使用Docker安装MySQL，我本来是打算放在这里的，但是因为文章较为详细，放在此处使得可阅读性有所下降，所以我将笔记放在了另外一篇文章，供大家参考！至此，Sqoop的安装工作我们就准备好了！

			
		

	



              


  
              

                


	

		

			

				
					
使用 sqoop 将mysql数据导入到hdfs（import）

				
			

			

				

					weixin_30667301的博客
				

				

					09-13
					
					125
					
				

			

		

		

			
				
Sqoop 将mysql 数据导入到hdfs(import)
1.创建mysql表

CREATE TABLE `sqoop_test` (
`id` int(11) DEFAULT NULL,
`name` varchar(255) DEFAULT NULL,
`age` int(11) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=la...

			
		

	





	

		

			

				
					
利用Sqoop把SqlServer数据库中的表导入导出到HDFS(转)

				
			

			

				

					flyeagle88的专栏
				

				

					05-07
					
					3879
					
				

			

		

		

			
				
为了能够和HDFS之外的数据存储库进行交互，MapReduce程序需要使用外部API来访问数据。Sqoop是一个开源的工具，它允许用户将数据从关系型数据库抽取到Hadoop中，用于进一步的处理。抽取出来的数据可以被Mapreduce程序使用。也可以被其他类似于Hive的工具使用。一旦形成分析结果，Sqoop便可以将这些结果导回数据库，以供其他客户端使用。

Sqoop的安装

从http:

			
		

	



		

			
		



	

		

			

				
					
java  代码 操作sqoop api  转数据 到 hdfs  或者到hbase

				
			

			

				

					huangweicheng123的博客
				

				

					06-11
					
					742
					
				

			

		

		

			
				
这个问题折磨了我一周多了，今天解决完了 写篇博客记录下 ，希望帮到遇到和我一样问题的小伙伴！！！！！！！！！！！！

首先 我们转数据用sqoop转数据的时候一般都是在安装好sqoop环境，用的sqoop的命令去转的数据，很少去写java代码去操作 我这个实现主要是为了通过我的项目去做这个操作！

一般sqoop的命令是这样的

sqoop import --connect jdbc:ora...

			
		

	





	

		

			

				
					
Sqoop将数据导入到HDFS（三）

				
			

			

				

					RivenDong
				

				

					09-26
					
					1644
					
				

			

		

		

			
				
文章目录1. 前言2. 打开MySQL服务3. 向HDFS中导入数据4. 成果图
1. 前言
Sqoop可以在HDFS/Hive和关系型数据库之间进行数据的导入导出，其中主要使用了import和export这两个命令。
import命令用来将关系型数据库中的表导入到HDFS或者Hive中，表中的每一行在HDFS中被表示为分开的记录，记录可以被存储为txt文件，或者二进制形式的Avro和Sequen...

			
		

	





	

		

			

				
					
利用Sqoop将数据从数据库导入到HDFS（转）

				
			

			

				

					flyeagle88的专栏
				

				

					05-07
					
					582
					
				

			

		

		

			
				
如下面这个shell脚本：
#Oracle的连接字符串，其中包含了Oracle的地址，SID，和端口号
CONNECTURL=jdbc:oracle:thin:@20.135.60.21:1521:DWRAC2
#使用的用户名
ORACLENAME=kkaa
#使用的密码
ORACLEPASSWORD=kkaa123
#需要从Oracle中导入的表名
oralceTableName

			
		

	





	

		

			

				
					
Sqoop数据迁移，导入数据至hdfs,hive,hbase,mysql

				
			

			

				

					我玩的很开心的博客
				

				

					07-23
					
					2070
					
				

			

		

		

			
				
Sqoop数据迁移一、Sqoop概述二、Sqoop数据迁移1.从RDB(Relational Database)导入数据到HDFS1.1标准方式全部导入表（customers）1.2通过Where语句过滤导入表(orders)1.3通过COLUMNS过滤导入表1.4使用query方式导入数据1.5使用Sqoop增量导入数据2.导入数据到hive3.导入数据到HBase4.hdfs导出到MySQL三、执行Sqoop脚本四、执行Sqoop  job任务
一、Sqoop概述
Sqoop是什么？
Sqoop是一个用

			
		

	





	

		

			

				
					
Sqoop将MySQL数据导入到HDFS和Hive中

				
			

			

				

					qq_43184146的博客
				

				

					08-26
					
					529
					
				

			

		

		

			
				
一、将数据从mysql导入 HDFS

sqoop import --connect jdbc:mysql://192.168.76.1:3306/workflow --username root --password a --table project

报错

tool.ImportTool: Encountered IOException running import job: jav...

			
		

	





	

		

			

				
					
sqoop 将oracle数据表导入到HDFS中

				
			

			

				

					06-08
				

			

		

		

			
				
3. 执行以上命令后，Sqoop将会连接到Oracle数据库，并将数据表导入到HDFS中指定的目录中。  需要注意的是，在执行以上命令前需要确保Sqoop已经正确安装，并且Oracle数据库驱动已经添加到Sqoop的类路径中。

			
		

	





	

		

			

				
					
用Sqoop把数据从HDFS导入到关系型数据库

				
			

			

				

					漫天雪_昆仑巅
				

				

					02-16
					
					6549
					
				

			

		

		

			
				
由于工作的需求，需要把HDFS中处理之后的数据转移至关系型数据库中成为对应的Table，在网上寻找有关的资料良久，发现各个说法不一，下面是本人自身测试过程：
使用Sqoop来实现这一需求，首先要明白Sqoop是什么？

 Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到H

			
		

	





	

		

			

				
					
[Sqoop基础]--  导入数据到HDFS中（大数据存储系统）

				
			

			

				

					欢迎来到我的博客，一起探索代码里的世界！
				

				

					06-07
					
					8014
					
				

			

		

		

			
				
环境准备:h15机器，mysql使用h15的，不用h17的mysql

配置hive的环境变量和hadoop的环境变量

注意：

(1)一定要配置HADOOP_HOME和HIVE_HOME

(2)和flume相似，要将sqoop放在active的namenode节点上

 

错误1：Error: Could not find or load main class org.apache.sqo...

			
		

	





	

		

			

				
					
Sqoop导数据GC Limit或者Java Heap Space

				
			

			

				

					善皮之的博客
				

				

					03-09
					
					1908
					
				

			

		

		

			
				
Sqoop导入数据内存溢出
  利用sqoop可以将RDBMS的数据导入到HDFS上，但是在使用sqoop的时候，以mysql数据导入到hive数据为例，如果不注意设置MapReduce的资源，是会出现一个叫做GC limit xxxxx的错误的。
如下面的脚本
sqoop import \
--connect jdbc:mysql://localhost:3306/your_database \...

			
		

	





	

		

			

				
					
使用Sqoop将HDFS中数据导入MYSQL中

				
			

			

				

					sn_gis的专栏
				

				

					06-11
					
					2009
					
				

			

		

		

			
				
使用Sqoop将HDFS中数据导入MYSQL中

			
		

	





	

		

			

				
					
一次“奇怪”的Sqoop导入报Zookeeper ConnectionException异常的分析

				
			

			

				

					咕噜咕噜大数据
				

				

					05-26
					
					517
					
				

			

		

		

			
				
环境：
CDH 6.3.0
已开启Kerberos
Java 版本: 1.8.0_181

症状表现：
在普通用户edwuser下，在一台CDH客户端节点机器上，执行以下sqoop import命令，将MYSQL数据导入HBASE中：
sqoop import \
--connectjdbc:mysql://db01:3306/test?characterEncoding=UTF-8 \
--username root \
--password mysql \
--table cust_info \
--h

			
		

	





	

		

			

				
					
sqoop 从oracle 导入hdfs 上报 java heap space 错误

				
			

			

				

					u010011737的专栏
				

				

					03-17
					
					2581
					
				

			

		

		

			
				

使用sqoop把oracle 中的表 导入到hdfs 上，当数据量很小时，map/reduce的过程中就会提示 java heap space error。经过查找原因和尝试，解决方法有两个：



1、 对每个运行子进程的jvm大小进行设定


修改mapred-site.xml文件，添加以下属性：

 
  mapred.child.java.opts 
  -X

			
		

	





	

		

			

				
					
第一章 Sqoop专题之开发常见问题

				
			

			

				

					qq_27924553的博客
				

				

					12-21
					
					619
					
				

			

		

		

			
				
1、数据跑一半出问题，HDFS文件系统进入数据
①违反数据库约束
②数据库连接机制
③由于分割符等原因，传输列数和表的列数不一致

2、并行度
1kw以内的=4个，1-9kw=8个，1亿 = 12个，2亿 = 16 个

3、hive表顺序和MySQL表顺序
hive里面的字段顺序必须和目标表的字段顺序相同，否则会报错
***HDFS以文件形式导出
4、sqoop性能优化
***重点考虑：数据量超过500W，日增量超过10W
***解决方案：分时切片，参数优化
①总体策略
sqoop优化基于map分配，字段

			
		

	





	

		

			

				
					
排查sqoop报错：Error running child : java.lang.OutOfMemoryError: Java heap space

				
			

			

				

					weixin_30338497的博客
				

				

					07-04
					
					861
					
				

			

		

		

			
				
报错栈：

2017-06-16 19:50:51,002 INFO [main] org.apache.hadoop.mapred.MapTask: Processing split: 1=1 AND 1=1
2017-06-16 19:50:51,043 INFO [main] org.apache.sqoop.mapreduce.db.DBRecordReader: Working o...

			
		

	





	

		

			

				
					
sqoop使用指南

				
			

			

				

					
				

				

					01-14
					
					1469
					
				

			

		

		

			
				
Sqoop User Guide (v1.4.6)





1.Introduction



Sqoop is a tool designed to transfer data between Hadoop and relational databases or mainframes. You can use Sqoop to import data fr...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值