sqoop导入数到MySQL空值_sqoop导出hive数据到mysql避免空值

问题(1)

Sqoop导入导出Null存储一致性问题

Hive中的Null在底层是以“”\N“”来存储,而mysql中的Null在底层就是Null,为了保证数据两端的一致性,在导出数据时采用--input-null-string和--input-null-non-string两个参数。导入时采用--null-string和--null-non-string

问题(2)

Sqoop数据导出一致性问题

如sqoop在导出到mysql时,使用4个map任务,过程中有2个任务失败,此时mysql中存储了另两个map任务导入的数据,此时领导正好看到这个报表数据开发工程师发现之后,调试问题重新执行成功后,领导发现这次的数据跟上次不一样,这是不允许的。

使用--staing-table 参数,使用临时表,触发事物,成功后再导入目标表。

问题(3)

Sqoop底层运行的任务只有Map阶段,没有reduce阶段的任务。

sqoop导入导出问题

sqoop export --connect jdbc:mysql://ip:3306/eqpt_base_db?characterEncoding=utf8 --username root --password secret_password --table A_JQZ_T_GAS_GET_ORDER_NUM_INFO_S  --export-dir  /user/hive/warehouse/origin_ennenergy_energytrade.db/a_jqz_t_gas_get_order_num_info_s  --input-null-string '\\N' --input-null-non-string '\\N' --fields-terminated-by '\t'

为了避免空值时,没有数据,需要以下命令:

--input-null-string '\\N' --input-null-non-string '\\N' --fields-terminated-by '\t'

由sqoop导入失败发现的hive的空值问题

先说基础知识

hive中空值分两种

(1)NULL

hive中null实际在HDFS中默认存储为'\N',通过查询显示的是'NULL'。

这时如果查询为空值的字段可通过语句:aaa is null 或者 aaa ='\N' 实现。

此时可用hive中与null有关的函数,如nvl,coalesce,is null等判断是否为null是为true。

产生NULL值,一般都是由hive外链接引起的。

(2)''

'' 表示的是字段不为null且为空字符串,此时用 aaa is null 是无法查询这种值的,必须通过 aaa =='' 或者 length(aaa)=0 查询

产生''值,一般都是源数据为空。

之前项目中用到sqoop工具从HDFS中往数据库中导数据时,任务失败。不得已,用二分法导数据,去排查问题,看看是哪一条数据导致任务报错。最后排查到数据文件中有字段的值为空。但是奇怪的是,在hive sql里面已经加为null判断了。再看数据文件,发现其中的值不是通常的NULL,或者是\N,而是''。

所以得到原因,用判断null的nvl函数并不能排除''的情况,需要用IF(aaa == '','未知',aaa) AS aaa 来判断。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
©️2022 CSDN 皮肤主题:1024 设计师:我叫白小胖 返回首页

打赏作者

Roy Kid

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值