spark读写seaweedfs

软件版本:

软件	版本	压缩包包名
seaweedfs	seaweedfs-1.24	linux_amd64.tar.gz
hadoop	2.7.1
spark	2.3.1

依赖jar包	版本	mvnrepository
seaweedfs-hadoop-client	1.0.2	https://mvnrepository.com/artifact/com.github.chrislusf/seaweedfs-hadoop-client

前置要求：

启动一个weed filer

配置Hadoop以使用SeaweedFS

向core-site.xml 添加几个属性：

fs.seaweedfs.impl：此属性定义SeaweedFS HDFS客户端JAR中包含的Seaweed HCFS实现类。这是必需的。

fs.defaultFS：此属性定义要使用的默认文件系统URI。如果路径始终具有前缀，则它是可选的seaweedfs://localhost:8888。

<configuration>
<property>
    <name>fs.seaweedfs.impl</name>
    <value>seaweed.hdfs.SeaweedFileSystem</value>
</property>
<property>
    <name>fs.defaultFS</name>
    <value>seaweedfs://localhost:8888</value>
</property>
</configuration>

部署SeaweedFS HDFS客户端jar

# 执行命令查看 hadoop 的 classpath
$ bin/hadoop classpath

# 复制jar 包到 任意一个文件夹下
$ cd ${HADOOP_HOME}
$ cp ./seaweedfs-hadoop-client-x.x.x.jar share/hadoop/common/lib/

确保spark配置了HADOOP_CONF_DIR

将$ SPARK_HOME/conf/spark-env.sh中的HADOOP_CONF_DIR设置为包含配置文件core-site.xml的位置

启动spark-shell

/usr/local/spark/bin/spark-shell --master spark://mgr1:7077 --jars /usr/local/hadoop/share/hadoop/common/lib/seaweedfs-hadoop-client-1.0.2.jar

#测试读写
scala> sc.textFile("seaweedfs://data1:8888/path/words.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).saveAsTextFile("seaweedfs://data1:8888/out-1.0.2")

使用spark-submit

$ /bin/spark-submit \ 
--name "My app" \ 
--master spark://mgr1:7077 \  
--conf spark.eventLog.enabled=false \ 
--conf "spark.executor.extraJavaOptions=-XX:+PrintGCDetails -XX:+PrintGCTimeStamps" \ 
--conf spark.hadoop.fs.seaweedfs.impl=seaweed.hdfs.SeaweedFileSystem \ 
--conf spark.hadoop.fs.defaultFS=seaweedfs://data1:8888 \
myApp.jar

–jars 为diver和executor添加附加jar包，多个jar包以逗号分割。