spark运行报：java.lang.RuntimeException: Error while encoding: java.lang.ArrayIndexOutOfBoundsException:

最新推荐文章于 2022-12-07 20:26:18 发布

Nahshon

最新推荐文章于 2022-12-07 20:26:18 发布

阅读量3k

点赞数 1

分类专栏：大数据工具文章标签：大数据 spark scala java hadoop

本文链接：https://blog.csdn.net/weixin_45747147/article/details/124234373

版权

在使用Spark处理HDFS上的TXT文件并转换为ORC格式时，遇到`java.lang.RuntimeException: Error while encoding: java.lang.ArrayIndexOutOfBoundsException`的错误。问题源于TXT文件的编码格式不正确，原本应该是UNIX GB2312，但实际上传的是UTF-8，导致字符匹配时出现异常。

摘要由CSDN通过智能技术生成

spark运行报：java.lang.RuntimeException: Error while encoding: java.lang.ArrayIndexOutOfBoundsException:

报错前提：在使用 spark 读取 Hadoop 的 hdfs 上的 txt 文件，进行相关的操作之后，转为 orc 格式，期间报 java.lang.RuntimeException: Error while encoding: java.lang.ArrayIndexOutOfBoundsException:
（…class org.apache.spark.unsafe.types.UTF8String, StringType, fromString, validateexternaltype(…）

具体报错内容（照片有点糊）：
在这里插入图片描述
最后发现问题是 txt 文件的字体编码格式有问题，它们字符大小不一样，所以在代码里面进行匹配时会报ArrayIndexOutOfBoundsException。我此处 txt 文件正确应该为：UNIX GB2312（Simplified）INS [图2