格式错误的转换处理(含日期格式以及编码格式错误)

本文介绍了在Hive中处理CSV文件时遇到的日期格式错误和编码错误问题。针对日期格式错误,通过将字符串转换为时间戳,再转换为所需日期格式来解决;对于编码错误,通过修改Hive表的serde属性设置为GBK编码来解决。
摘要由CSDN通过智能技术生成

目录

1、解决日期格式错误的问题

2、解决编码错误的问题


在工作中,碰到了load CSV文件时,日期格式读写错误的情况,CSV文件的日期格式显示为date的格式,即为yyyy-MM-dd hh:mm:ss,但hive在读取日期格式的数据时,自行转换成了yyyy/MM/dd的这种字符串格式。

同时,我们也能看到,age字段也出现了编码错误的情况,这种情况在我们数据库读取时是经常会遇到的问题。

1、解决日期格式错误的问题

我们首先得明白,机器中存储日期是以什么方式或者什么数据来存储的?

我们首先应该有个概念,机器中存储日期数据是以时间戳的形式,并不是直接存储我们看到的日期那样的一个数据,时间戳是指格林威治时间1970年01月01日00时00分00秒(北京时间1970年01月01日08时00分00秒)起至现在的总秒数。

MySQL内部使用4个字节INT类型来存放时间戳数据:

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

且行且安~

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值