2021-04-05：使用IDEA进行spark读取HDFS上的文件遇到的两个错误

最新推荐文章于 2022-11-14 16:43:47 发布

*move on

最新推荐文章于 2022-11-14 16:43:47 发布

阅读量2.2k

点赞数

文章标签： spark hdfs

本文链接：https://blog.csdn.net/qq_42468054/article/details/115441464

版权

本文介绍了在使用IDEA运行Spark时，遇到的两个读取HDFS文件错误：一是由于主机连接断开导致的IOException，解决办法是在xshell中重新连接集群；二是读取数据目录时报错，通过修改core-site.xml配置文件，将HDFS的默认端口从50070改为8020来解决问题。

摘要由CSDN通过智能技术生成

使用IDEA进行spark读取HDFS上的文件遇到的两个错误：

（1）Failed on local exception: java.io.IOException: 你的主机中的软件中止了一个已建立的连接

我是连接xshell开启集群再在IDEA读取hdfs上的数据：

    val data = spark.read.option("header","true").option("delimiter",",").csv("hdfs://master:50070/usr/root/test.csv")

后面发现中午吃饭的时候将电脑睡眠了，再来打开电脑，其实xshell那边断开了连接，所以在xshell那边重新连接上就好了。

（2）读取数据目录时报错

21/04/05 13:56:49 WARN FileStreamSink: Error while looking for metadata directory.
Exception in thread "main" java.io.IOException: Failed on local exception: com.google.protobuf.InvalidProtocolBufferException: Protocol message end-group tag did not match expected tag.; Host Deta

最低0.47元/天解锁文章

*move on

关注

0
点赞
踩
3

收藏

觉得还不错? 一键收藏
打赏
0
评论
2021-04-05：使用IDEA进行spark读取HDFS上的文件遇到的两个错误

使用IDEA进行spark读取HDFS上的文件遇到的两个错误：（1）Failed on local exception: java.io.IOException: 你的主机中的软件中止了一个已建立的连接我是连接xshell开启集群再在IDEA读取hdfs上的数据： val data = spark.read.option("header","true").option("delimiter",",").csv("hdfs://master:50070/usr/root/test.csv"
复制链接

扫一扫