问题描述:
执行sql发生异常,报错java.lang.UnsupportedOperationException org.apache.parquet.column.values.dictionary.PlainValuesDictionary$PlainIntegerDictionary
原因分析:
修改hive表schema导致parquet文件部分字段的schema不一致
使用工具:
idea插件:Avro and Parquet Viewer用于查看分析问题parquet文件
解决方法:
1.删除有问题的parquet文件
2.将有问题的parquet数据下载,然后本地转化schema一致,在上传合并文件