Sqoop
小江_xiaojiang
这个作者很懒,什么都没留下…
展开
-
Sqoop详解
引言Sqoop依赖与hadoop 数据的一方,存储在hdfs 底层的数据传输实现map/reduce yarn 只有map任务因为官网sqoop没有hadoop2.5对应的版本,要根据hadoop的版本进行编译(好像不用对应版本也可以,不过建议最好对应版本)。所以这里使用CDH 5.3.6。比较稳定。 去Cloudera的官网发布版本号 http;//a原创 2016-11-25 15:01:55 · 19300 阅读 · 0 评论 -
运用sqoop将数据从oracle导入到hive中的注意的问题
问题一:导入的列有换行符等其他字符如何解决有一张新闻表,其中有一个字段类型为clob,为新闻的内容,里面有各种字符,其中就包括hive中默认的分隔符和自定义的分隔符。这样当导数据到hive中就会造成数据混乱。网上参考了两个地址:http://www.th7.cn/Program/java/201608/920584.shtmlhttp://stackoverflow.com原创 2016-11-25 15:31:58 · 15245 阅读 · 1 评论