sqoop的merge和eval 工具

1、sqoop的merge的工具

sqoop merge 可以将hdfs上的两个文件进行合并，在increment import的过程中经常会用到，如incremenet import将数据导入到hdfs上时，第二次导入时，由于会出现文件已经存在的问题，第二次导入的hdfs的文件与之前的文件是不一样的名称，但是hdfs上有需要保持文件的唯一性，那么此时需要将更新的新的数据与老数据进行一个合并。具体的内容可以参考下面的图：

2、sqoop的eval的工具

sqoop 的eval的工具是用来快速执行sql查询，并且将查询的结果输出到控制台。

例如：sqoop eval --connect jdbc:oracle:thin:@192.168.27.235:1521/ORCL --username DATACENTER -P --query "insert into TEMP2(id,name,lastmodified) values(10,'liujiyu',TIMESTAMP '2015-10-14 14:40:46')"
注意：这里的TIMESTAMP是用来解析时间的字段

 

转载于:https://www.cnblogs.com/ljy2013/p/4877426.html