spark运行错误org.apache.hadoop.fs.FileSystem: Provider org.apache.hadoop.fs.s3.S3FileSystem not found
进行分析处理发现,由于hadoop-commons和hadoop-hdfs两个jar文件中在META-INFO/services下包含相同的文件名org.apache.hadoop.fs.FileSystem,解决办法如下 1、通过压缩工具打开打包好的spark的jar包 2、再复制hadoop-hdfs的jar文件中org.apache.hadoop.fs.s3.S3...
原创
2019-05-28 10:10:57 ·
3666 阅读 ·
0 评论