datax从mysql导入表数据到hive表,字段值为NULL,问题分析

从mysql导入表数据到hive表,字段值为NULL,有可能由以下原因造成:

1.建表分隔符和导入时的分隔符不一致

# 修改分隔符命令
alter table att_new set serdeproperties('field.delim'='\t');

#或者修改导入命令中的分隔符

2.字段的数据类型不一致

# 修改字段数据类型命令
alter table 表名 change column 字段名 字段名 目标的字段类型

#例子:将表test中的字段a的类型转换为bigint
alter table test change column a a bigint

3.文件类型和压缩格式不对(ORC、TEXTFILE...)

4.字段值包含了分隔符,可以换一个分隔符试试

本次我的问题属于第三种情况:

①查看hive表信息(已由ORC修改为TEXTFILE)

修改hive表文件存储类型的命令为:

# 修改为ORC格式
ALTER TABLE att_new SET FILEFORMAT ORC


#修改为Text
ALTER TABLE att_new SET FILEFORMAT TEXTFILE

②修改导入时的文件类型和压缩格式

 hive表和导入配置中的文件类型都设置为TEXT,导入的压缩格式选择bzip2,最后正常导入。

  • 1
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值