Apache commons-io 包中的CharSet编码用IOUtils 读文件，在Hadoop下问题

最新推荐文章于 2024-02-22 17:05:39 发布

沉睡达人

最新推荐文章于 2024-02-22 17:05:39 发布

阅读量2.6k

点赞数

分类专栏： java

本文链接：https://blog.csdn.net/doublecj/article/details/42742397

版权

Apache Commons IO的CharSet编码在Hadoop环境中可能导致问题，建议避免使用CharSet.forName("UTF-8")。直接指定编码为""UTF-8""，例如：IOUtils.readLines(inputStream, ""UTF-8"")，以免引发错误。" 102680937,8012000,Docker中安装配置MySQL5.7详细步骤,"['Docker', '数据库管理', 'MySQL安装', '配置文件', '数据迁移']

摘要由CSDN通过智能技术生成

<span style="font-size:18px;">15/01/15 15:46:39 INFO mapreduce.Job:  map 0% reduce 0%
15/01/15 15:46:43 INFO mapreduce.Job: Task Id : attempt_1419754160864_0218_m_000000_0, Status : FAILED
<span style="color:#ff0000;background-color: rgb(255, 255, 255);">Error: <strong>org.apache.commons.io.IOUtils.readLines(Ljava/io/InputStream;Ljava/nio/charset/Charset;)</strong>Lj</span>ava/util/List;
15/01/15 15:46:48 INFO mapreduce.Job: Task Id : attempt_1419754160864_0218_m_000001_0, Status : FAILED</span>

CharSet引用在Haoop下可能存在问题，直接String encoding="UTF-8"，不要这么写：CharSet.forName("UTF-8")

IOUtils.readLines(inputStream."UTF-8");而不是