Hive数据通过Sqoop导出为什么出现了本应为空的数据在数据库中成了值为null的字符串

最新推荐文章于 2021-12-29 16:37:47 发布
最新推荐文章于 2021-12-29 16:37:47 发布
阅读量863 收藏 1
点赞数
分类专栏： 大数据Sqoop技术 文章标签： sqoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dudadudadd/article/details/115178059
版权

这个是因为Hive底层还是用文件存储的数据，而且系列化空值的标识方式有些特别，用的是\N，所以空值被默认导入成了值为null的字符串，要避免这种情况我们要在Sqoop的提交命令中加两个参数

--null-string ''
--null-not-string ''

这样导出之后就会发现，空数据以空字符串导入，而不是值为null的字符串

尘世壹俗人
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Sqoop抽取文本数据到hive由于存在空字符导致字段错位和丢失错误
lyp5257918的博客
12-22 8140
用sqoop抽取数据的时候，若记录中含有“由空格组成的字符串”，由于空字符串是由引号括起来，因此，需要对引号进行转义。否则sqoop 完成后， hive加载hdfs文件时，会自动对其截断，从而导致字段数增多。
sqoop oracle date,sqoop从oracle倒数时为null的有关问题
weixin_35559171的博客
04-14 276
1 现象：通过sqoop将oracle表数据导入hdfs，在oracle的数据为null下，sqoop自动将null变成null字符串存储到hdfs上这样，在执行hive脚本：case when a.begindate is not null and a.enddate >= '%current_date%' and instrfun(a.status,'无效')=0 then 'R商标'w...
sqoop hive mysql null_sqoop导出hive数据到mysql避免空值
weixin_31000553的博客
01-20 514
问题(1)Sqoop导入导出Null存储一致性问题Hive中的Null在底层是以“”\N“”来存储，而mysql中的Null在底层就是Null,为了保证数据两端的一致性，在导出数据时采用--input-null-string和--input-null-non-string两个参数。导入时采用--null-string和--null-non-string问题(2)Sqoop数据导出一致性问题如sqo...
hive：导出数据记录到MySQL中null被替换为\N的解决方案
weixin_43390992的博客
02-26 2008
在hive中，一般情况下通过 1 use my_hive_db; 2 set hive.merge.mapfiles=true; 3 set hive.merge.mapredfiles=true; 4 set hive.merge.size.per.task= 1000000000; 5 set hive.merge.smallfiles.avgsize= 1000000000; 6 inser...
hive：导出数据记录中null被替换为\n的解决方案
一只很酸de橘子
05-21 1211
1）设置 alter table name SET SERDEPROPERTIES('serialization.null.format' = '\N'); 则：底层数据保存的是'\N',通过查询显示的是'NULL' 这时如果查询为空值的字段可通过 语句：a is null 或者 a='\\N' 2）设置 alter tablename SET SERDEPROPERTIES('serialization.null.format' = 'NULL'); 则：底层数据保存的是'NULL',通过查询显示的.
Hive | 加载数据后，出现字段显示为 NULL的问题
张晨光老师的播客
06-10 5748
进到HIVE命令下，命令格式： 在root目录下创建的user.txt文件，格式如下： 将创建好的文件加载到新创建的tb_user表中： 成功界面： 进一步查询： 为什么呢? 如果按照上面的格式写，会成功的。注意网上格式： 规定了数据格式 > row format delimited > fields terminated by ' ' //...
分布式数据库课程设计+基于Hbase的滴滴出行数据分析+Hive+Hadoop+Mysql+Sqoop+可视化
03-18
Sqoop 是一个用来在 Hadoop 和传统数据库之间进行数据迁移的工具，它可以将数据导入到 Hadoop 的 HDFS 中，也可以将 Hadoop 中的数据导出到关系型数据库中。在滴滴出行项目中，Sqoop 负责将 Hive 中经过分析的数据...
基于hadoop平台hive数据库处理电影数据（8965字数32页）.doc
11-11
【标题】：“基于Hadoop平台Hive数据库处理电影数据”的文档详细介绍了如何在Hadoop分布式环境中利用Hive进行大规模电影数据的分析。该系统的主要目标是建立一个分布式Hadoop集群，并在此基础上对电影数据进行深入...
Sqoop导Oracle数据到Hive
12-21
- `--null-string ''` 和 `--null-non-string '0'`：指定字符串类型的NULL值表示为空字符串，非字符串类型的NULL值表示为数字`0`。 ##### 步骤4：清理HDFS中的旧数据 在导入新数据之前，可能需要先清除HDFS上的旧...
Sqoop数据采集工具简介、安装、使用学习笔记（配合Hive和Hbase）
03-08
### Sqoop 数据采集工具简介 ...通过具体的命令示例，读者可以快速上手 Sqoop 的使用，完成数据在传统数据库与 Hadoop 生态系统之间的迁移。此外，还提供了一些注意事项，帮助用户更好地应对实际应用中的挑战。
Hive metastore 使用达梦数据库存储元数据
05-10
《Hive metastore 使用达梦数据库存储元数据详解》 在大数据处理领域，Hive作为一个分布式数据仓库工具，被广泛用于存储和管理大规模结构化数据。Hive的元数据是其核心组成部分，它包含了表、分区、列等信息，使得...
解决hive表新增的字段查询为空null问题
星空的风fly
05-14 3636
一、问题点 有一个hive外部表，分区字段是tp和month，新增了几个字段fee_org_id，applied_date_time，pop_coop_mode_type_cd，fee_company后，insert overwrite重跑分区数据， SELECT * FROM app.app_yhzz_pop_bill_indicator_result WHERE tp = 'yt' AND month = '2021-04' 用hive引擎查询如下，新增的几个字段是null 而用prest
Hive表存在null值导出到MySQL报错：Can't parse input data: '\N'
清韵凌波的博客
10-11 2069
使用sqoop把hive表数据导到mysql时因空值报错问题 在hdfs上查看hive内部表的数据，发现是使用\N来代表null值的，但是mysql只能识别null，无法识别\N，所以导入时会报以下错误： Caused by:java.lang.RuntimeException: Can't parse input data: '\N' 这时可以通过以下方法解决： 1、使用...
hive表中数据为NULL
东城庞太师
12-29 2396
如图，hive中数据显示为NULL，解析错误。 原因：分隔符不对 解决: sqoop抽数脚本里的分隔符用的是\01， 导数据到hdfs上是这种SOH的，对应到hive中是\001 sqoop抽数脚本： hdfs上： hive上的表 这样的对应关系就可以正常解析了。 附录：ASCII码表对照关系 ...
Hive中NULL值（空值）处理
野生大头鱼
07-31 2万+
hive null null默认的存储都是\N，可以在建表时通过serialization.null.format的设置 null不能进行算术运算，所有有null参与的运算结果都为null hive> select null+2; OK NULL同样null=0，null!=0这类结果都为null，做判断条件时等效为false hive> select > case when null=0
sqoop从oracle倒数时为null的问题
后知后觉的it路
10-08 388
  1 现象： 通过sqoop将oracle表数据导入hdfs，在oracle的数据为null下，sqoop自动将null变成null字符串存储到hdfs上 这样，在执行hive脚本：   case when a.begindate is not null and a.enddate >= '%current_date%' and instrfun(a.status,'无效')...
【大数据开发运维解决方案】sqoop增量导入oracle/mysql数据到hive时时间字段为null处理
热门推荐
赵延东的一亩三分地
03-27 16万+
前面几篇文章详细介绍了sqoop全量增量导入数据到hive，比如文章（sqoop避免输入密码自动增量job脚本介绍）里面的案例和给出的其他相关文章的连接，笔者使用sqoop导入oracle数据到hive是为了做增量cube用，但是在前面的某篇文章Sqoop全量同步mysql/Oracle数据到hive中大家可以看到我导入的数据如果有时间字段的话我都是在hive指定成了string类型，虽然这样可以处理掉时间字段在hive为空的问题，但是在kylin创建增量cube时需要指定一个时间字段来做增量，所以上面那种
sqoop导入数到MySQL空值_sqoop导出hive数据到mysql避免空值
weixin_31655833的博客
02-10 1837
问题(1)Sqoop导入导出Null存储一致性问题Hive中的Null在底层是以“”\N“”来存储，而mysql中的Null在底层就是Null,为了保证数据两端的一致性，在导出数据时采用--input-null-string和--input-null-non-string两个参数。导入时采用--null-string和--null-non-string问题(2)Sqoop数据导出一致性问题如sqo...
Sqoop接入数据时统一空值
zhangliushi的博客
11-30 1896
Sqoop接入时统一处理null值
Sqoop 导入导出 Null 存储一致性问题?
最新发布
05-17
Sqoop 是一个用于将数据在 Apache Hadoop 和结构化数据存储之间进行传输的工具。当使用 Sqoop 进行数据导入或导出时，遇到 Null 值的存储一致性问题是很常见的。 在关系型数据库中，Null 值表示缺少值或未知值。但是，在 Hadoop 中，Null 值被解释为没有值。因此，在将数据从关系型数据库导入到 Hadoop 时，Null 值可能会被解释为不同的值，这可能会导致存储一致性问题。 为了解决这个问题，Sqoop 提供了一些选项，如 `--null-string` 和 `--null-non-string`，用于指定 Sqoop 使用哪些字符串表示 Null 值。这些选项将允许 Sqoop 在导入或导出过程中正确地处理 Null 值，并保持存储一致性。 另外，还可以使用 `--input-null-string` 和 `--input-null-non-string` 选项来指定在导入数据时应将哪些字符串解释为 Null 值。这将确保在导入过程中正确地解释 Null 值，并防止存储一致性问题的发生。 综上所述，使用 Sqoop 进行数据导入或导出时，要注意 Null 值的存储一致性问题，并使用适当的选项来解决这个问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值