sqoop
cuichunchi
java开发 后期 转向了大数据开发 有小伙伴想转大数据可以咨询我哟
展开
-
sqoop支持Hcatalog使用hcatalog参数后问题集锦
官网:http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html#_purpose_4问题描述:sqoop1.4.6hadoop2.7.3hive-2.1.1本人编写的sqoop脚本如下:参数解释:--hcatalog-database指定HCatalog表的数据库名称。如果未指定,default则使用默认数据库名称。提供--hcatalog-database不带选项--hcatalog-table是错误的。这不是必需的.原创 2020-11-18 14:15:31 · 8433 阅读 · 6 评论 -
Sqoop导入hive中null字符串处理为NULL
如图所示图中的null为字符串null,当使用查询工具,转为json时候全是字符串null。图为我的导出脚本,已经添加了 导出设置null参数:--null-string,--null-non-string,但是测验中,还是不行,后来查询了官网对hive的null的描述:发现需要在表级设置’serialization.null.format’参数。alter table ${table_name} SET SERDEPROPERTIES('serialization.null.fo原创 2020-08-26 20:47:30 · 1754 阅读 · 0 评论