hive load data未正确读取到日期

文章讲述了在将源数据CSV文件导入Hive时,由于日期格式不一致导致的LOADDATA加载失败。作者发现CSV中的日期格式为YYYY/MM/DD,而Hive期望的是YYYY-MM-DD,通过调整文件格式并使用dbeaver工具处理后解决了问题。
摘要由CSDN通过智能技术生成

1.源数据CSV文件日期字段值:

2.hive DDL语句:

CREATE EXTERNAL TABLE `test.textfile_table1`(
  `id` int COMMENT '????', 
  `name` string COMMENT '??', 
  `gender` string COMMENT '??', 
  `birthday` date COMMENT '????',.......)
ROW FORMAT SERDE 
  'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe' 
WITH SERDEPROPERTIES ( 
  'field.delim'=',', 
  'line.delim'='\n', 
  'serialization.format'=',') 
STORED AS INPUTFORMAT 
  'org.apache.hadoop.mapred.TextInputFormat' 
OUTPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION
  'hdfs://ambari-hadoop1:8020/warehouse/tablespace/external/hive/test.db/textfile_table1'
TBLPROPERTIES (
  'bucketing_version'='2', 
  'discover.partitions'='true', 
  'transient_lastDdlTime'='1708312247');

3.利用LOAD DATA 加载语句加载数据后发现date日期字段未被成功加载:

 

4.猜测为日期格式问题,在hive中日期格式如下YYYY-MM-DD,而CSV中是YYYY/MM/DD:

调整后成功解决。

5.原因分析:利用dbeaver三方工具导出CSV文件后,利用WPS打开编辑保存后,YYYY-MM-DD被更改为YYYY/MM/DD导致load data失败。

  • 5
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值