- 博客(1)
- 收藏
- 关注
RSS订阅原创 Spark工作中遇到bug汇总及解决
Spark工作中遇到bug汇总及解决一.SparkSQL相关在执行insert 语句时报错，堆栈信息为：FileSystem closed。常常出现在ThriftServer里面。原因： 由于hadoop FileSystem.get 获得的FileSystem会从缓存加载，如果多线程一个线程closedFileSystem会导致该BUG解决方法：hdfs存在不从缓存加载的解决方式，在hdfs-site.xml 配置 fs.hdfs.impl.disable.cache=true**即可在
2020-09-15 10:22:55
297
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人