sqoop
_小海_
这个作者很懒,什么都没留下…
展开
-
NoClassDefFoundError: com/teradata/jdbc/jdk6/JDK6_SQL_ResultSetMetaData解决办法
环境:TD:Teradata15.00.02.08CDH:CDH5.13.020/07/16 05:16:15 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6-cdh5.13.020/07/16 05:16:15 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead.20/07/16 05:原创 2020-07-16 21:56:17 · 671 阅读 · 0 评论 -
Sqoop --m(--num-mappers)参数使用及优化
Sqoop并行化是启多个map task实现的,-m(或--num-mappers)参数指定map task数,默认是四个。当指定为1时,可以不用设置split-by参数,不指定num-mappers时,默认为4,当不指定或者num-mappers大于1时,需要指定split-by参数。并行度不是设置的越大越好,map task的启动和销毁都会消耗资源,而且过多的数据库连接对数据库本身也会造成压...原创 2019-11-14 14:42:18 · 8913 阅读 · 0 评论 -
ERROR tool.ImportTool: Import failed: java.io.IOException: Hive does not support the SQL type for co
使用Sqoop导出oracle数据到hive的时候遇到一个报错,意思是hive不知支持oracle的这个字段类型。ERROR tool.ImportTool: Import failed: java.io.IOException: Hive does not support the SQL type for column CONT_DOC_DESCERROR tool.Impo原创 2017-07-21 17:45:14 · 5627 阅读 · 0 评论 -
sqoop 从oracle到hive数据错位,并产生很多null值,clob类型被截取成一小段一小段
1、在执行Sqoop从oracle和mysql导数到hive中时,出现hive数据错位,并产生很多null值:原因是源数据中包含许多'\n'、'\r'、'\01'等字符,表在分割字段和行过程中出现错位;解决方式:在Sqoop执行中增加属性–hive-drop-import-delims,在导入数据到hive中时,去掉数据中\n,\r和\01这样的字符;--hive-drop-imp原创 2017-07-24 21:14:03 · 3980 阅读 · 0 评论 -
sqoop could not load db driver class:oracle.jdbc.OracleDriver
在使用sqoop从oracle导数到hive,报错:sqoop could not load db driver class:oracle.jdbc.OracleDriver解决:在安装sqoop server的节点上放oracle的驱动包/opt/cloudera/parcels/CDH/lib/sqoop/lib/ojdbc6.jar并且修改权限为777原创 2017-11-13 23:22:14 · 6858 阅读 · 1 评论 -
sqoop No columns to generate for ClassWriter
在执行sqoop从oracle导出数据到hive时报错:No columns to generate for ClassWriter问题原因:oracle数据库的IP/用户名/密码/数据库名称 错误导致连接不上。原创 2017-11-13 23:31:22 · 7329 阅读 · 1 评论 -
sqoop xxxx :UNsupported major.minor version 52.0
在执行sqoop导出某表数据到hive的时候报错:Error xxxx :UNsupported major.minor version 52.0问题原因:出现该问题是由于cloudera manager和系统的jdk版本不一致导致的,更具体点是cm使用的是低版本的jdk1.7,而操作系统后来又装的版本是高版本的jdk1.8,由于sqoop会自动生成代码并编译程jar然后提交给原创 2017-11-13 23:37:59 · 1583 阅读 · 0 评论