Hive字段校验测试

一、HDFS文件中字段类型和表字段长度/类型不一致场景

结论
1.如果是varchar类型长度短于文件中字段长度，通过HQL查询时，会直接截断超过varchar类型长度的字符显示；
2.如果表字段类型和HDFS文件中数据类型不匹配，则直接显示NULL

二、通过HQL插入长度/类型不一致数据场景

DROP TABLE tmp.test0713;
CREATE TABLE `tmp.test0713`(
`PK_ID` varchar(1) COMMENT '主键'
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\001' STORED AS TEXTFILE;
insert overwrite table tmp.test0713 select PK_ID from tmp.test0714 limit 100;

如上HQL所示，
当tmp.test0714的PK_ID 字段比tmp.test0713长时，会直接截断，存入tmp.test0713；
当tmp.test0714的PK_ID 字段和tmp.test0713的PK_ID 字段类型不一致时，会直接将NULL存入tmp.test0713；

无论是用sqoop导入数据到HIVE表还是用HSQL insert插入数据，HIVE的字段校验都不会报错，只是做一些简单的截断或者置空处理，有点坑！！！

补充点：hive的数据类型中string、varchar、char的区别

varchar是变长，如果达不到设定的长度，按实际长度存储，如果超过了，则截断；
char是固定长度，如果达不到设定的长度，会补全存储；
string没有长度限制