Spark on yarn安装部署

〇、说明
1.Spark的部署模式主要有:
Local模式;
Standalone模式;
Yarn模式:yarn—client,yarn_master;
Mesos模式:Coarse-grained Mode,Fine-grained Mode。

整理了几篇说明性BLOG:
Spark集群三种部署模式的区别
Spark常用三种运行模式
spark的三种模式的详细运行过程
Spark Standalone架构设计要点分析

2.master与slave
spark on yarn 中没有master和slave,凡是涉及到两个角色的安装基本都是standalone模式。spark on yarn 仅仅需要按照以下步骤安装启动即可。分为spark on yarn-cluster和spark on yarn-client(区别自行百度,网上很多。)

一、准备
1.HDFS
2.YARN
3.JDK8

二、安装Scala
1.下载
官网下载(自己选择合适版本):

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值