Spark on yarn搭建

Spark 支持三种模式的部署方法，分别为standalone、yarn、mesoss,
这篇主要讲述yarn的部署方法

一、准备

1.1 说明：

• 选spark的时候要注意与hadoop版本对应；
• spark基于yarn来管理，spark只能安装在NodeManager节点上

1.2 服务器资源准备

本地已经搭建了7节点的hadoop(HA)集群

10.242.154.185  app201
10.242.154.186  app212
10.242.167.217  app211
10.242.167.218  app210
10.242.167.219  app209
10.242.167.220  app208
10.242.167.221  app207

1.3 安装包准备：

选择spark版本可以到官网下载安装包：
spark官网地址:http://spark.apache.org/downloads.html
我们使用的hadoop2.7.5，所以如图选择：

---

二、配置

---

---

三、验证

---

---

四、测试