本文档介绍了如何配置和使用Spark与SeaweedFS进行数据交互。主要内容包括设置软件版本、满足前置要求，特别是配置Hadoop以支持SeaweedFS，部署SeaweedFS HDFS客户端JAR，并确保Spark环境中配置了HADOOP_CONF_DIR。最后，通过启动spark-shell和使用spark-submit来操作SeaweedFS。
软件版本:
| 软件 | 版本 | 压缩包包名 |
|---|---|---|
| seaweedfs | seaweedfs-1.24 | linux_amd64.tar.gz |
| hadoop | 2.7.1 | |
| spark | 2.3.1 |
| 依赖jar包 | 版本 | mvnrepository |
|---|---|---|
| seaweedfs-hadoop-client | 1.0.2 | https://mvnrepository.com/artifact/com.github.chrislusf/seaweedfs-hadoop-client |
前置要求：
启动一个weed filer
配置Hadoop以使用SeaweedFS
向core-site.xml 添加几个属性：
fs.seaweedfs.impl：此属性定义SeaweedFS HDFS客户端JAR中包含的Seaweed HCFS实现类。这是必需的。
fs.defaultFS：此属性定义要使用的默认文件系统URI。如果路径始终具有前缀，则它是可选的seaweedfs://localhos
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
