Spark工作中遇到bug汇总及解决

最新推荐文章于 2024-05-09 08:02:58 发布

guowentao123

最新推荐文章于 2024-05-09 08:02:58 发布

阅读量297

点赞数 1

分类专栏：大数据文章标签： spark

本文链接：https://blog.csdn.net/guowentao123/article/details/108594472

版权

1 篇文章 0 订阅

订阅专栏

在执行insert 语句时报错，堆栈信息为：FileSystem closed。常常出现在ThriftServer里面。
原因：由于hadoop FileSystem.get 获得的FileSystem会从缓存加载，如果多线程一个线程closedFileSystem会导致该BUG
解决方法：hdfs存在不从缓存加载的解决方式，在hdfs-site.xml 配置 fs.hdfs.impl.disable.cache=true**即可
在执行Spark过程中抛出：Failed to bigdata010108:33381，caused by：java.nio.channels.unresolvedAdderssException