进行分析处理发现,由于hadoop-commons和hadoop-hdfs两个jar文件中在META-INFO/services下包含相同的文件名org.apache.hadoop.fs.FileSystem,解决办法如下
1、通过压缩工具打开打包好的spark的jar包
2、再复制hadoop-hdfs的jar文件中org.apache.hadoop.fs.s3.S3FileSystem到spark的jar包
进行分析处理发现,由于hadoop-commons和hadoop-hdfs两个jar文件中在META-INFO/services下包含相同的文件名org.apache.hadoop.fs.FileSystem,解决办法如下
1、通过压缩工具打开打包好的spark的jar包
2、再复制hadoop-hdfs的jar文件中org.apache.hadoop.fs.s3.S3FileSystem到spark的jar包