最近在用sqoop1.99.6做数据抽取,期间遇到了很多问题,特此在这里记录一下,方便以后的回顾与整理
1.首先配置的时候,需要配置hdfs的lib目录到catalina.properties
common.loader=${catalina.base}/lib,${catalina.base}/lib/*.jar,${catalina.home}/lib,${catalina.home}/lib/*.jar,${catalina.home}/../lib/*.jar,/usr/lib/hadoop/*.jar,/usr/lib/hadoop/lib/*.jar,/usr/lib/hadoop-hdfs/*.jar,/usr/lib/hadoop-hdfs/lib/*.jar,/usr/lib/hadoop-mapreduce/*.jar,/usr/lib/hadoop-mapreduce/lib/*.jar,/usr/lib/hadoop-yarn/*.jar,/usr/lib/hadoop-yarn/lib/*.jar,/usr/lib/hive/lib/*.jar
在sqoop.properties中配置logs目录与db的目录
2.配置完后即可启动sqoop(应先启动hadoop)
3.创建一个sqoop任务需要先创建link,在1.99.6中需创建一个
fromlink,和tolink。
create link -cid 1
create link -cid 3
这两行命令是分别创建一个jdbclink 和一个hdfs link
jdbclink 需要填写一些参数:一定需要填写的参数为connectString,database user database password
hdfs link需要填写的参数为:hdfs的url :hdfs://namenode:9000/
在设置好这些参数以后就可以进行连接了。
本人测试过mysql连接和oracle连接。
oracle连接的连接参数可以用sid进行连接:jdbc:oracle:thin:@IP:Port:orcl
在构建了link 后就可以构建job了。
create job -f 1 -t 2
需填写的参数为
Name:可不填
From database configuration
Schema name:
Table name:
Table SQL statement:
Table Columns name:
...
To HDFS configuration
...
output format:
compression format:
...
Output directory:
...
在这里要着重写一下几个参数的意义。特别是在数据库一端的设置。
(Schema name,Table name)和Table SQL statement 不能同时设置,这是为了防止表名不同一造成的问题。
Table Columns name可以设置要抽取的列名。基本格式为:COL1,COL2,COL3 .因为Table Columns name的长度有一个变态的设置,就是这个字符串长度不能超过50.所以基本上设置不了几列。在这里,我通过查找源码发现了Table SQL statement的用法,其实可以说他的存在就是为了解决上面的问题。首先我们可以看到源码里sql的size为2000.所以有足够的长度。但是之前试了好多种sql的写法,发现总是不成功。于是对sqoop各种吐槽。。。
后来终于发现它的基本写法是这样子滴:SELECT ID,COL1,COL2,COL3 FROM SCHEMA.TABLE WHERE ${CONDITIONS}
那个${CONDITIONS}只是个占位符,没有什么用处,它在源码里会被替换成1=1
这样子就解决了COLUMNS设置的问题。
再来讲解一下
Partition column name 一般可设置为ID,它的作用就是为了并行处理做准备的。sqoop通过获取Partition column的最大值和最小值对数据库表进行切割,分块读取数据(这样很有可能导致任务之间的不平衡)。
为了解决这个问题,可以用Boundary Query来解决分块的问题,这部分我还没有研究。
最后一个问题,sqoop现在列之间的分隔符用的是“,”而不是“\t”,而且在外部已经不能手动去改了,它在代码里写死了。要改的话可以通过重新编译源代码的方式进行修改。
那个类是org.apache.sqoop.connector.hdfs.HdfsConstants
对于sqoop的学习暂且先记到这里。