0458-Hive数据类型校验问题分析

温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。
Fayson的github：
https://github.com/fayson/cdhproject
提示：代码块部分可以左右滑动查看噢

1

文章编写目的

使用Hive时大家都会遇到数据类型校验的问题，相比传统关系型数据库会严格要求数据的Schema，数据的列数、每一列的字段类型都有严格的规定，因此数据的存储必须按照定义的Schema格式来存储。而Hive数据库对数据格式及具体的内容并不关心，只有在数据被读出时才会与定义的Schema进行转换。那这个时候就会出现数据类型转换的问题，本篇文章Fayson主要分析下如何查找表中类型转换错误的数据以及Hive对空值和NULL的处理。

• 测试环境

1.RedHat7.2

2.CM和CDH版本为5.15.0

2

测试数据准备

1. 建表语句如下：

create table test_null (id int, age string) 
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n'
STORED AS TEXTFILE;

（可左右滑动）

2. 测试数据如下：

[root@cdh2 ~]# vim test1.dat
1,23
2,24c
3,32d
4,30
5,NULL

（可左右滑动）

3. 将测试数据加载到test