FATE on Spark v1.8 部署 快速指北

本文提供FATE on Spark v1.8的部署指南,涵盖单机和集群部署的不同方式,重点讲解简化部署流程、端口配置、常见问题解决(如RabbitMQ和Nginx配置)以及服务管理和系统信息指令。通过本文,读者将了解到FATE部署的必要组件及安全关闭服务的顺序。
摘要由CSDN通过智能技术生成

前言

本文记录了FATE on Spark 的部署使用过程中粗浅的理解。

FATE部署分为单机版和集群版。
单机版选择有docker镜像,编译好的安装包以及拉取源码安装。
集群部署有原生集群(Spark或者Eggroll),Ansible集群安装,云原生安装(Kubernetes和Docker Compose)。

不同版本的部署过程和具体路径不完全一样,遇到的问题也不同。FATE on Spark 需要每个模块逐一安装配置,可能需要花费比较长的时间。大家一定要根据自己的需求和熟悉的技术类型,选择适合的模式上手

参考文档如下:
FATE on Spark deployment guide
单机模式spark部署(无Hadoop)

整体架构

简化部署说明与示意图

  1. 只使用本地文件系统(FATE支持HDFS单机,伪分布式或集群)
  2. Spark standalone 模式单机部署(FATE支持Spark集
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值