前言
本文记录了FATE on Spark 的部署使用过程中粗浅的理解。
FATE部署分为单机版和集群版。
单机版选择有docker镜像,编译好的安装包以及拉取源码安装。
集群部署有原生集群(Spark或者Eggroll),Ansible集群安装,云原生安装(Kubernetes和Docker Compose)。
不同版本的部署过程和具体路径不完全一样,遇到的问题也不同。FATE on Spark 需要每个模块逐一安装配置,可能需要花费比较长的时间。大家一定要根据自己的需求和熟悉的技术类型,选择适合的模式上手。
参考文档如下:
FATE on Spark deployment guide
单机模式spark部署(无Hadoop)
整体架构
简化部署说明与示意图
- 只使用本地文件系统(FATE支持HDFS单机,伪分布式或集群)
- Spark standalone 模式单机部署(FATE支持Spark集