Sqoop
文章平均质量分 80
kwu_ganymede
Spark高级工程师
展开
-
基于Hive及Sqoop的每日PV、UV、IP定时分析
[Author]: kwu 基于Hive及Sqoop的每日PV、UV、IP定时分析原创 2015-10-13 11:12:46 · 1810 阅读 · 0 评论 -
解决sqoop导入关系库更新联合主键的问题
[Author]: kwu 解决sqoop导入关系库更新联合主键的问题,把数据从hive中导入关系库,如果关系库表有联合主键的情况,且需要把新导入的数据更新原来的数据。原创 2015-10-13 13:25:35 · 1943 阅读 · 0 评论 -
使用sqoop --options-file 导入hive数据
[Author]: kwu 使用sqoop --options-file直接导入hive数据,把操作命令语句写在文件中,便于管理及管理原创 2015-10-13 10:48:44 · 1610 阅读 · 0 评论 -
sqoop从关系库导出数据到hive
[Author]: kwu sqoop从关系库导出数据到hive,sqoop支持条件查询关系库中的数到hive数据仓库中,并且字段无须与hive表中的字段一致。原创 2015-10-13 13:24:21 · 586 阅读 · 0 评论 -
Sqoop处理Clob与Blob字段
[Author]: kwu Sqoop处理Clob与Blob字段,在Oracle中Clob为大文本,Blob存储二进制文件。遇到这类字段导入hive或者hdfs需要特殊处理。原创 2015-10-13 11:58:09 · 6934 阅读 · 1 评论 -
解决sqoop导入关系库更新联合主键的问题
解决sqoop导入关系库更新联合主键的问题,把数据从hive中导入关系库,如果关系库表有联合主键的情况,且需要把新导入的数据更新原来的数据。原创 2015-09-27 16:26:34 · 1029 阅读 · 1 评论 -
基于sqoop的导入导出操作
SQOOP是用于对hdfs与关系型数据库之间进行导入导出数据,与hive一样sqoop也是通过MapReduce来实现的,但是sqoop只有mapper。原创 2015-10-13 10:32:50 · 1096 阅读 · 0 评论