hive字段类型修改问题总结

因将线上表的某个字段的类型进行了更改,进而引发了下面两个问题:

  1. 字段的声明类型和parquet存储时的类型不一致
  2. table schema和partition schema不一致

致使数据表直接无法使用。

具体出错的问题从执行日志中可以清楚的看到。

问题1

问题:将字段类型改成int类型,但是报错信息提示parquet文件对应字段类型是int64,设置的字段类型与实际存储的类型不一致

解决:将字段类型改为bigint使与parquet存储时一致,数据表可以正常使用。

问题2

问题:由于以前的分区已经运行完成,这些分区使用的还是以前的schema。在修改了字段类型后,table schema就发生变化,以至于table和partition schema不一致,select报错。

解决:解决思路是将现有和过去所有分区的数据使用新的schema进行更新。遇到的场景是以前的分区不重要,因此直接使用ALTER TABLE <table_name> DROP PARTITION (<partition_col>=<val>)删除以前的分区,再次运行即可。如果以前分区数据比较重要,可以按照新的schema更新所有分区的数据。

  • 0
    点赞
  • 2
    收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
©️2022 CSDN 皮肤主题:大白 设计师:CSDN官方博客 返回首页
评论

打赏作者

xboysen

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值