Kettle 表输入、文本文件输出遇到 某一字段 过长 报错

https://blog.csdn.net/zsg86/article/details/84910052

我遇到的问题是工商数据id bignumber 16 太长，1是表输入时报错 无法转换，2是文本文件输出时报错 arraysize exceeds VM.

第一个问题 表输入报错 解决：cast(table.id as String)
第二个问题 报 java.lang.OutOfMemoryError: Requested array size exceeds VM
原因是，hive中有两个字段定义的长度为21亿，超过了jvm数据长度，减小这两个字段长度即可。

注意：文本输出中字段的长度如果过长，输出速度会变得非常非常慢 ，一秒一条 感觉想死

用时：一天