https://blog.csdn.net/zsg86/article/details/84910052
我遇到的问题是工商数据id bignumber 16 太长,1是表输入时报错 无法转换,2是文本文件输出时报错 arraysize exceeds VM.
第一个问题 表输入报错 解决:cast(table.id as String)
第二个问题 报 java.lang.OutOfMemoryError: Requested array size exceeds VM
原因是,hive中有两个字段定义的长度为21亿,超过了jvm数据长度,减小这两个字段长度即可。
注意:文本输出中字段的长度如果过长,输出速度会变得非常非常慢 ,一秒一条 感觉想死
用时:一天