搭建spark on yarn 集群

最新推荐文章于 2024-08-14 16:26:58 发布
最新推荐文章于 2024-08-14 16:26:58 发布
阅读量1.1k 收藏 2
点赞数
分类专栏： Spark 大数据 文章标签： spark yarn hadoop dashuju
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qqhjqs/article/details/80183756
版权

两台用的都是ubuntu

IP主机名
192.168.22.137spark-master
192.168.22.150spark-slave1

更改主机名

确定每个节点的主机名与它在集群中所处的位置相同
如果不同，需要修改vi /etc/hostname
重启生效

可能需要些安装某些工具包

  • 更换sources源
vi /etc/apt/sources.list
deb http://mirrors.aliyun.com/ubuntu/ trusty main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ trusty-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ trusty-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ trusty-proposed main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ trusty-backports main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ trusty main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ trusty-security main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ trusty-updates main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ trusty-proposed main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ trusty-backports main restricted universe multiverse

  • apt install net-tools

  • apt-get install iputils-ping

修改各主机的hosts文件

vi /etc/hosts
添加以下内容

192.168.22.137 spark-master
192.168.22.150 spark-slave1

SSH免密登录

我看了网上别人的说只需要安装server，但是我没有成功，我安装了server和client才行

apt-get install openssh-client
apt-get install openssh-server

# 启动ssh服务
etc/init.d/ssh start

*关于ssh服务可以参照这个链接
http://linux.it.net.cn/e/server/ssh/2015/0501/14838.html*

紧接着就是配置各主机的免密登录

  • 所有的主机都需要生成私钥和公钥(直接回车)

ssh-keygen -t rsa

  • 将所有主机的~/.ssh/id_rsa.pub都要放在master节点的~/.ssh/目录下(最好更改用以区分)

我使用的lrzsz工具(有点笨)。之后再主机执行

你也可以使用scp ~/.ssh/id_rsa.pub root@<hostname|ip>:~/.ssh/id_rsa.pub.slave1

  • 将所有公钥加到用于认证的公钥文件authorized_keys中
cat ~/.ssh/id_rsa.pub* >> ~/.ssh/authorized_keys

此时~/.ssh/再将~/.ssh/authorized_keys拷贝其他节点，到此个主机就完成了免密登录

验证一下:

ssh spark-master
ssh spark-slave1

如果出现如下，就说明你成功了

1.png

所需环境配置

准备软件

用的版本不是最新的，看个人需要，但要保证各软件的版本要互相支持

.
├── hadoop-2.6.5.tar.gz
├── jdk-8u171-linux-x64.tar.gz
├── scala-2.10.4.tgz
└── spark-1.6.3-bin-hadoop2.6.tgz

可直接去各大官网下载，如果你想省事，直接从网盘里下载也行

https://pan.baidu.com/s/1vSu-6OTMvkROCBsiJwbMWQ

统一配置环境

我将所有的软件放在/spark/software/目录下、解压与修改文件名，然后统一配置环境变量

vi /etv/profile

假如如下内容

export JAVA_HOME=/spark/software/java
export JRE_HOME=$JAVA_HOME/jre
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
export CLASSPATH=$CLASSPATH:.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

export SCALA_HOME=/spark/software/scala
export PATH=$PATH:$SCALA_HOME/bin

export HADOOP_HOME=/spark/software/hadoop
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export YARN_HOME=/spark/software/hadoop
export YARN_CONF_DIR=${YARN_HOME}/etc/hadoop

然后执行source /etc/profile 另其生效
然后测试，出现如下说明成功了
2.png

当然你也可以吧hadoop和spark假如path中，这样就可以随时使用hdfs和spark-submit命令了

其他主机做同样的操作

提示：各主机最好都统一路径，这样修改一个文件，然后将文件直接远程拷贝到其他主机上就行了

HADOOP配置

在/spark/software/hadoop/etc/hadoop目录下需要配置以下几个文件：

hadoop-env.sh，
yarn-env.sh，
slaves，
core-site.xml，
hdfs-site.xml，
maprd-site.xml，
yarn-site.xml
hadoop-env.sh

export JAVA_HOME=/spark/software/java

yarn-env.sh

export JAVA_HOME=/spark/software/java

slaves
spark-slave1

(这里我只添加了一个slave，你也可以把master加上去)

core-site.xml

添加如下：

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://spark-master:9000/</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>file:/spark/software/hadoop/tmp</value>
</property>
hdfs-site.xml

添加如下：

<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>spark-master:9001</value>
</property>
<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/spark/software/hadoop/dfs/name</value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/spark/software/hadoop/dfs/data</value>
</property>
<property>
    <name>dfs.replication</name>
    <value>3</value>
</property>
maprd-site.xml

添加如下

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
<!-- 下面的视情况而配置你可以先只配置上面的即可 -->
<property>
    <name>mapreduce.map.memory.mb</name>
    <value>1536</value>
</property>
<property>
    <name>mapreduce.map.java.opts</name>
    <value>-Xmx1024M</value>
</property>
<property>
    <name>mapreduce.reduce.memory.mb</name>
    <value>1024</value>
</property>
<property>
    <name>mapreduce.reduce.java.opts</name>
    <value>-Xmx1024M</value>
</property>
yarn-site.xml

添加如下

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
    <name>yarn.resourcemanager.address</name>
    <value>spark-master:8032</value>
</property>
<property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>spark-master:8030</value>
</property>
<property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>spark-master:8035</value>
</property>
<property>
    <name>yarn.resourcemanager.admin.address</name>
    <value>spark-master:8033</value>
</property>
<property>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>spark-master:8088</value>
</property>
<!-- 下面是情况而定 具体可以参考这里 http://blog.javachen.com/2015/06/05/yarn-memory-and-cpu-configuration.html-->
<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>2000</value>
</property>
<property>
    <name>yarn.scheduler.maximum-allocation-mb</name>
    <value>2000</value>
</property>

以上配置完毕之后，要同步到其他主机上,因为配置了免密，可以这样操作

scp /spark/software/hadoop/etc/hadoop/ root@spark-slave1:/spark/software/hadoop/etc/hadoop/

HADOOP启动

进入/spark/software/hadoop目录下
- 格式化namenode
bin/hfds namenode -format

当出现“successful”的字样，就说明成功了

  • 启动dfs
    sbin/start-dfs.sh

  • 启动yarn
    sbin/start-yarn.sh

接下来验证，spark-master 执行jps，有以下几个进程

27570 SecondaryNameNode
27720 ResourceManager
27356 NameNode
32476 Jps

每个slave上应该有以下几个进程

18324 DataNode
18489 NodeManager
21055 Jps

可以在任意一台主机上的浏览器输入

http://spark-master:8088/cluster/nodes     yarn管理界面
http://spark-master:50070                  hdfs页面

yarn.png
hdfs.png

spark 环境

在/spark/software/spark/conf目录下修改spark-env.sh(需先拷贝spark-env.sh.template)文件

export SCALA_HOME=spark/software/scala
export JAVA_HOME=/spark/software/java
export HADOOP_HOME=/spark/software/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
SPARK_MASTER_IP=spark-master
SPARK_LOCAL_DIRS=/spark/software/spark
SPARK_DRIVER_MEMORY=1G

同样在slaves文件中添加子节点

spark-slave1

同样将这两个文件发送到其他主机对应位置

然后在/spark/software/spark目录下执行

sbin/start-all.sh

浏览器输入

http://spark-master:8080/

spark-ui.png

到此就搭建好了

运行

spark提供了很多例子，我们直接运行即可

# 本地运行
bin/spark-submit examples/src/main/python/pi.py 10 --master local[4]

# Spark Standalone 集群模式运行
bin/spark-submit examples/src/main/python/pi.py 10 --master spark://spark-master:7077

# Spark on YARN 集群上 yarn-cluster 模式运行
bin/spark-submit \
    --class com.spark.WordCount \
    --master yarn-client \
    --driver-memory 1g \
    --executor-cores 1 \
    simple/word-count-1.0-SNAPSHOT.jar # 自己写的单词统计，文件放在了hdfs上

这里注意spark内存使用的配置

遇到的问题

Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

暂时未解决

集群配置参考

可能用到的链接

Spark on Yarn集群搭建手册
08-29
Spark on Yan集群搭建的详细过程，减少集群搭建的时间
Spark On YARN 分布式集群安装
ohMyGodSun的博客
06-27 761
1.安装jdk 2.安装scala 3.hadoop完全分布式运行模式 4.安装spark 1.2.4参考： Spark On YARN 伪分布式集群安装 3.hadoop完全分布式运行模式 3.1 集群环境：(3台主机) master #主节点 slave1 #从节点1 salve2 #从节点2 3.2 集群部署规划 ...
【Spark集群部署系列四】Spark on YARN介绍和环境部署(个人笔记，供参考)
最新发布
qq_65231448的博客
08-14 1104
通常如果我们想要一个稳定的生产Spark环境, 那么最优的选择就是构建:HA StandAlone集群.。不过在企业中, 服务器的资源总是紧张的, 许多企业不管做什么业务,都基本上会有Hadoop集群. 也就是会有YARN集群。对于企业来说,在已有YARN集群的前提下在单独准备Spark StandAlone集群,对. 所以, 在企业中,多 数场景下,会将集群中。YARN本身是一个资源调度框架, 负责对运行在内部的计算框架进行资源调度管理。
Spark on Yarn 环境搭建
weixin_37536020的博客
07-02 1233
当Spark Application应用提交运行在YARN上时，默认情况下，每次提交应用都需要将依赖Spark相关jar包上传到YARN 集群中，为了节省提交时间和存储空间，将Spark相关jar包上传到HDFS目录中，设置属性告知Spark Application应用。计算圆周率PI的Spark程序，提交到Yarn上运行，在Centos平台上直接用spark-sumbit脚本提交程序。三台Centos7机器: 主机名分别为：node1、node2、node3。设置资源信息，提交运行pi程序至YARN上。
搭建Spark On YARN集群
weixin_55988146的博客
05-23 381
一、搭建Spark On YARN集群 搭建Spark Standalone集群 （二）修改Spark环境配置文件 存盘退出后，执行命令：source spark-env.sh，让配置生效 三、提交Spark应用到集群运行 （一）启动HDFS和YARN 执行命令：start-dfs.sh 执行命令：start-yarn.sh （二）运行Spark应用程序 查看Spark应用程序$SPARK_HOME/examples/jars/spark-examples_2.11-.
Spark on Yarn集群搭建
hl93hnrz的专栏
02-22 320
软件环境: linux系统: CentOS6.7 Hadoop版本: 2.6.5 zookeeper版本: 3.4.8 主机配置: 一共m1, m2, m3这五部机, 每部主机的用户名都为centos 192.168.179.201: m1 192.168.179.202: m2 192.168.179.203: m3 m1: Zookeeper, Nameno
搭建Spark on Yarn集群
mengshicheng1992的博客
08-24 834
搭建Spark on Yarn集群 此文以Hadoop 3.2.2、Spark 3.1.2版本为例！ 如未指定，下述命令在所有节点执行！ 一、系统资源及组件规划 节点名称 系统名称 CPU/内存 网卡 磁盘 IP地址 OS NameNode namenode 2C/4G ens33 128G 192.168.0.11 CentOS7 Secondary NameNode secondarynamenode 2C/4G ens33 128G 192.168.0.12 CentOS7 R
超详细Spark on yarn 集群搭建部署
Alex的博客
11-14 1734
1.首先准备软件包 下载地址：https://www.apache.org/dyn/closer.lua/spark/spark-2.4.3/spark-2.4.3-bin-hadoop2.7.tgz 2.解压到对应目录后，修改配置文件（前提Java已经安装过了） 解压的Linux命令：tar -zxvf spark-2.4.3-bin-hadoop2.7.tgz 3.配置环境变量 ...
搭建Spark On Yarn 集群
qq_57026298的博客
05-16 680
搭建Spark On Yarn 集群 文章目录搭建Spark On Yarn 集群一、搭建Spark Standalone集群二、提交Spark应用到集群运行 一、搭建Spark Standalone集群 参看《搭建SecureDRT》 修改Spark环境配置文件 （1）Spark On YARN模式的搭建比较简单，仅需要在YARN集群的一个节点上安装Spark即可，该节点可作为提交Spark应用程序到YARN集群的客户端。Spark本身的Master节点和Worker节点不需要启动。 （2）使用此模式需
Spark基础学习笔记06：搭建Spark On YARN集群
lwmzl00的博客
06-17 1172
零、本讲学习目标 学会搭建Spark On YARN模式的集群 能够将Spark应用程序提交到集群运行 一、Spark On YARN架构 Spark On YARN模式遵循YARN的官方规范，YARN只负责资源的管理和调度，运行哪种应用程序由用户自己实现，因此可能在YARN上同时运行MapReduce程序和Spark程序，YARN很好地对每一个程序实现了资源的隔离。这使得Spark与MapReduce可以运行于同一个集群中，共享集群存储资源与计算资源。Spark On YARN模式与Standalone模
spark on yarn集群搭建
weixin_38663603的博客
10-21 632
spark on yarn集群搭建 前言 描述： 在三个节点搭建分布式集群，主机名分别为：CAD01-ubuntu、CAD02-ubuntu、CAD03-ubuntu（其中CAD01-ubuntu为主节点、其他两个为从节点） 实验环境： 服务器节点数量：3 系统版本：Linux Java版本：jdk-8u261-linux-x64 Hadoop版本：hadoop-2.7.6 Spark版本：spark-2.3.0-bin-hadoop2.7 一、Hadoop搭建 1、编辑主机名文件（不必须） su root
Spark基础学习笔记：搭建spark on yarn 集群
fafa_1111的博客
06-16 675
spark
Spark-on-Yarn集群的搭建
rav009的专栏
06-28 1113
强烈推荐这篇文章, 非常详细:https://blog.csdn.net/chengyuqiang/article/details/77864246启动语句spark-shell --master yarn --deploy-mode client文中提到运行后一个错误:ERROR spark.SparkContext: Error initializing SparkContext.原因是Y...
Spark yarn集群搭建
jiedaodezhuti的博客
12-27 430
yarn是hadoop的一个子项目，用于管理分布式计算资源，在yarn上面搭建spark集群需要配置好hadoop和spark。集群是有3台虚拟机组成，都是centos系统的。 下面一步一步进行集群搭建。 一.配置hosts文件 为了方便地查找主机，hosts文件是主机名到ip的映射，不用去记各个主机的IP地址. 在以后的url中就可以用master代替192.168.128.135。 192.1...
Spark on Yarn集群搭建详细过程
yjh314的专栏
12-14 757
由于最近学习大数据开发，spark作为分布式内存计算框架，当前十分火热，因此作为首选学习技术之一。Spark官方提供了三种集群部署方案： Standalone, Mesos, Yarn。其中 Standalone 为spark本身提供的集群模式，搭建过程可以参考官网，本文介绍Spark on Yarn集群部署过程。使用3台普通机器搭建Spark集群， 软件环境： Ubuntu 16.0
Spark On Yarn集群模式搭建
qq_51868627的博客
06-06 76
Spark On Yarn集群模式搭建
大数据Spark（十）：环境搭建集群模式 Spark on YARN
Lansonli（蓝深李）的博客
04-11 1017
不需要搭建Spark集群只需要:Yarn+单机版Spark(里面有提交命令,依赖jar,示例jar)当然还要一些配置修改配置当Spark Application运行到YARN上时，在提交应用时指定master为yarn即可，同时需要告知YARN集群配置信息（比如ResourceManager地址信息），此外需要监控Spark Application，配置历史服务器相关属性。修改spark-env.sh添加内容## HADOOP软件配置文件目录，读取HDFS上文件和运行YARN集群同步。
spark on yarn 集群部署
weixin_30682415的博客
11-11 84
概述 hadoop2.7.1 spark 1.5.1 192.168.31.62 resourcemanager, namenode, master 192.168.31.63 nodemanager, datanode, worker 192.168.31.64 nodemanager, datanode, worker Hadoop配置 hado...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值