Spark集群部署

最新推荐文章于 2024-05-30 20:20:45 发布
最新推荐文章于 2024-05-30 20:20:45 发布
阅读量582 收藏 4
点赞数 1
分类专栏： hadoop spark Linux 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38789531/article/details/84140853
版权
Linux 同时被 3 个专栏收录
14 篇文章 0 订阅
订阅专栏
hadoop
1 篇文章 0 订阅
订阅专栏
spark
1 篇文章 0 订阅
订阅专栏

Spark集群部署

部署顺序

  1. 系统安装
  2. SHH配置
  3. JDK安装
  4. Hadoop安装
  5. Spark安装

系统安装

安装CentOS系统，选择最低配置。
安装版本为： CentOS-7-x86_64-Everything-1804

记录集群中每个节点的IP，并测试连通性确保各节点间互相可以ping通。

安装软件版本为：
JDK: jdk-8u191-linux-x64.tar
Hadoop: hadoop-3.1.0.tar
Spark: spark-2.3.2-bin-hadoop2.7

hosts修改

整个配置过程中，注意账号名的不同；即出现账号名时应对对应账号名作相应修改！

  1. 修改各个节点的主机名，使其与该节点的角色名一致，如master,slave1,slave2,...(这一步非必须，只是为了便于区分):
sudo vi /etc/hostname 	#编辑 /etc/hostname 文件从而修改主机名
sudo reboot   			#重启使新主机名生效
  1. 修改各个 hosts 文件，在本地植入部分 DNS 映射，将对应的角色名与IP匹配起来，然 后尝试用角色名相互 ping，相互能 ping 通证明配置成功:
sudo vi /etc/hosts

hosts

ping master -c 4

ping

说明: 第 2 步保障了 Hadoop 可以通过角色名在局域网里找到各个节点，为了让 Hadoop 可以进 一步读取、操作各个节点，需要赋予其登录的权限，意即让 Hadoop 拥有各个节点的普通用户账 号，从而在需要操作各个节点时直接用对应的账号登录获取操作权限。SSH 协议可以为节点上的账户创建唯一的公私钥，然后利用这些公私钥实现无密码登录，从而让Hadoop 直接绕开传统的账号密码登录过程，直接用公私钥访问节点。

SHH配置

配置 SSH 无密码登录

  1. 生成各个节点的 SSH 公私钥:

    cd ~/.ssh			# 如果没有该目录，先执行一次ssh localhost
rm ./id_rsa* 		# 删除之前生成的公匙(如果有)
ssh-keygen -t rsa	# 一直按回车就可以

    ssh

  2. 为了让每个节点都拥有其它节点的公钥，要先把所有公钥放进一个文件里，分 4 步 走:
    ( a ) 在 master 上，将 master 的公钥复制到 authorized_keys 文件里:

    cat ./id_rsa.pub >> ./authorized_keys  # cat 命令用于提取内容，>>输出重定向

    ( b ) 将 slave1 的公钥文件发送给 master，此时的传送要输入密码:

    scp ~/.ssh/id_rsa.pub 账号名@master:/home/账号名/

    注意，这里前后两处hadoop需要修改为对应的账号名

    发生公钥

    ( c ) master 将接收到的 slave1 的公钥文件里的内容提取追加到authorized_keys 文 件里:

    cat ~/id_rsa.pub >> ~/.ssh/authorized_keys

    ( d ) 重复前两步，将 slave2 （其他节点）的公钥内容也放进 authorized_keys 文件，然后将 authorized_keys 文件分别发送到两个 slave 的 ~/.ssh/ 下:

    scp ~/.ssh/authorized_keys 账号名@slave1:/home/账号名/.ssh/
scp ~/.ssh/authorized_keys 账号名@slave2:/home/账号名/.ssh/

    注意，修改账号名hadoop为自己的账号名。

    在这里插入图片描述

  3. 每个节点尝试使用 ssh <角色名> 的命令直接登录其它节点，直到每个节点都可以 成功免密码登录其它节点，则免密码登录配置成功! 如在 master 上输入:

    ssh slave1

    在这里插入图片描述

JDK安装

JDK安装需在各个机器上都做一遍。或者在master上安装完成后通过scp发送到各个节点相同目录下，然后修改PATH环境变量。这里我安装的JDK版本为：jdk-8u191-linux-x64.tar。

  1. 将上传的 JDK 压缩包(jdk-8u191-linux-x64.tar)放到家目录(/home/账号名/)，解压并放到指定的文件夹:
sudo mkdir -p /usr/local/jvm
sudo tar -zxvf jdk-8u191-linux-x64.tar.gz -C /usr/local/jvm
  1. 将当前的 PATH 环境变量提取保存到 setenv.sh，然后将其修改为初始化语句，增加 JAVA 的路径(我用的是 jdk1.8.0_191，大家相应地改成自己的 jdk 版本号):
echo $PATH >> ~/setenv.sh 
sudo vi ~/setenv.sh

export JAVA_HOME=/usr/local/jvm/jdk1.8.0_191
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=$PATH:${JAVA_HOME}/bin

在这里插入图片描述

  1. 执行 setenv.sh 脚本文件修改当前环境变量 PATH，然后尝试 java 和 javac 指令是否有效:
source ~/setenv.sh 
java -version
javac -version

在这里插入图片描述

Hadoop安装

Hadoop安装需在各个机器上都做一遍。或者在master上安装完成后通过scp发送到各个节点相同目录下，然后修改PATH环境变量。这里我安装的Hadoop版本为：jdk-8u191-linux-x64.tar。

  1. 在各个节点上将 hadoop 解压到 /usr/local/ 目录下，改变其所属用户和所属组(让 hadoop 软件用相应账号登录时对 hadoop 文件夹拥有最高权限):
sudo tar -zxvf hadoop-3.1.0.tar.gz -C /usr/local/ #解压
sudo mv /usr/loca/hadoop-3.1.0 /usr/local/hadoop  #mv 实现重命名 
sudo chown -R 账号名:账号名 /usr/local/hadoop
  1. 修改 slaves 文件，让 hadoop 知道自己可以聚合的节点名(保证与 hosts 里的角色名一致):
sudo vi /usr/local/hadoop/etc/hadoop/slaves 

master
slave1
slave2
  1. 修改 workers 文件
vi /usr/local/hadoop/etc/hadoop/workers

master
slave1
slave2

在这里插入图片描述

  1. 修改 core-site.xml 文件如下:
sudo vi /usr/local/hadoop/etc/hadoop/core-site.xml 

<configuration>
	<property>
		<name>fs.default.name</name>
		<value>hdfs://master:9000</value>
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/usr/local/hadoop/tmp</value> 
	</property>
</configuration>

在这里插入图片描述

  1. 修改 hdfs-site.xml 文件如下(启用所有节点作为 DataNode，故 replication=3):

若集群数为n，则replication可以设置为n

sudo vi /usr/local/hadoop/etc/hadoop/hdfs-site.xml 

<configuration>
	<property>
		<name>dfs.replication</name>
		<value>3</value>
	</property>
	<property>
		<name>dfs.name.dir</name>
		<value>/usr/local/hadoop/hdfs/name</value> 
	</property>
	<property>
		<name>dfs.data.dir</name>
		<value>/usr/local/hadoop/hdfs/data</value> 
	</property>
    
	<property>
  		<name>dfs.http.address</name>
  		<value>192.168.142.130:50070</value>
	</property>
	<property>
  		<name>dfs.datanode.http.address</name>
  		<value>192.168.142.130:50075</value>
	</property>
	<property>
  		<name>dfs.datanode.address</name>
  		<value>192.168.142.130:50010</value>
	</property>
</configuration>

这里 192.168.142.130 应当修改为各个节点的ip地址。

在这里插入图片描述

  1. 修改 mapred-site.xml 文件如下:
sudo vi /usr/local/hadoop/etc/hadoop/mapred-site.xml

<configuration>
	<property>
		<name>yarn.app.mapreduce.am.env</name>
		<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
	</property>
	<property>
		<name>mapreduce.map.env</name>
		<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
	</property>	
	<property>
		<name>mapreduce.reduce.env</name>
		<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
	</property>
</configuration>

在这里插入图片描述

  1. 修改 yarn-site.xml 文件如下(启用 yarn 资源管理器):
sudo vi /usr/local/hadoop/etc/hadoop/yarn-site.xml 

<configuration>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
</configuration>

在这里插入图片描述

  1. 修改 hadoop-env.sh 文件，将出现 JAVA_HOME 的值换成 jdk 所在的路径:
sudo vi /usr/local/hadoop/etc/hadoop/hadoop-env.sh

/usr/local/jvm/jdk1.8.0_191

在这里插入图片描述

说明:上述 Hadoop 的配置操作要在每个节点上做一次（或者通过scp传送到各个节点上），确保每个环节都不出错，然后就 可以尝试初始化 NameNode(聚合所有节点成为一个集群的服务)，然后尝试启动各项服务。

  1. 添加PATH环境变量，将以下信息添加到setenv.sh中：
sudo vi ~/setenv.sh

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:${HADOOP_HOME}/bin

source ~/setenv.sh
启动并验证Hadoop
  1. 对 hadoop 进行 NameNode 的格式化/初始化:

注意，不可以随意多次初始化hadoop，否则会出现问题，如果确实需要初始化，则先删除master节点下的文件hadoop/tmp，hadoop/hdfs/name，hadoop/hdfs/data，以及其他slave节点的hadoop/hdfs/data文件。删除后在进行初始化操作，删除目录为sudo rm -rf 文件路径

/usr/local/hadoop/bin/hdfs namenode -format

在这里插入图片描述

Spark安装

这里选择spark on yarn模式进行安装。

  1. 具体的内存配置请依据自己的电脑合适修改，不要直接套 pdf 数据。我的电脑是 1G 运行内存，所以设置的是1000M，executor cores是2(经过测试driver memory和worker memory如果小于512M，executor cores大于2的话用spark提交任务会很容易就崩死， 提示的是 SparkContext 相关错误)。
  2. 关于 spark 的概念、运行机制、spark on yarn 的内容，请阅读下面两个链接内容 http://blog.csdn.net/wwwxxdddx/article/details/51087188 spark 基本概念 http://www.aboutyun.com/thread-12294-1-1.html spark on yarn 的两种运行模式

以下步骤是在 master 主机上完成的，完成后可以直接将整个 spark 文件夹传给 slave。

  1. 将 spark-2.3.2-bin-hadoop2.7.tgz 放到/home/hadoop/目录下;

  2. 解压文件到/usr/local 下，重命名文件夹并修改属主;

sudo tar -xzvf spark-2.3.2-bin-hadoop2.7.tgz -C /usr/local/ 
sudo mv /usr/local/spark-2.3.2-bin-hadoop2.7 /usr/local/spark 
sudo chown -R 账号名:账号名 /usr/local/spark/
  1. 利用 spark 的 template 文件生成配置文件；
cp /usr/local/spark/conf/spark-env.sh.template /usr/local/spark/conf/spark-env.sh   
cp /usr/local/spark/conf/slaves.template /usr/local/spark/conf/slaves  
cp /usr/local/spark/conf/spark-defaults.conf.template /usr/local/spark/conf/spark-defaults.conf
  1. 修改 spark-env.sh，在文件末尾添加如下内容:
sudo vi /usr/local/spark/conf/spark-env.sh 

export HADOOP_HOME=/usr/local/hadoop
export JAVA_HOME=/usr/local/jvm/jdk1.8.0_191  
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export SPARK_MASTER_IP=master 
export SPARK_LOCAL_DIRS=/usr/local/spark  
export SPARK_WORKER_MEMORY=1000M 
export SPARK_EXECUTOR_MEMORY=1000M
export SPARK_DRIVER_MEMORY=1000M   
export SPARK_EXECUTOR_CORES=2

在这里插入图片描述

这一步是为了配置 spark 的运行参数，hadoop_conf_dir 的设置是为了让 spark 运行在 yarn 上。 几个 memory 命令分别用于设置 driver 和 executor 进程的内存，executor_cores设置的是每个 executor 进程的 CPU cores 的数量，这些设置请依据自己的电脑实际可负载情况设置。

  1. 修改 slaves 文件，在文件末尾添加其他节点 IP;
sudo vi /usr/local/spark/conf/slaves 

master
slave1
slave2

在这里插入图片描述

  1. 修改 spark-defaults.conf，在文件末尾添加如下内容:
sudo vi /usr/local/spark/conf/spark-defaults.conf 

spark.executor.extraJavaOptions -XX:+PrintGCDetails -Dkey=value -Dnumbers="one two three" 
spark.eventLog.enabled    true  
spark.eventLog.dir    hdfs://master:9000/historyserverforSpark 
spark.yarn.historyServer.address    master:18080 
spark.history.fs.logDirectory    hdfs://master:9000/historyserverforSpark   
spark.speculation       true

在这里插入图片描述

这一步是为保存 spark 的运行日志，并且是保存到 hdfs 上的文件夹里面，方便运维。

  1. 将配置好的 spark 文件夹传到 slave1、slave2等节点。
sudo scp usr/local/spark 账号名@节点名:/usr/local/

sudo scp -r /usr/local/spark its312@slave1:/usr/local/ 
sudo scp -r /usr/local/spark its312@slave2:/usr/local/
  1. 配置 hadoop;
    修改 yarn-site.xml 文件，添加新的属性:
sudo vi /usr/local/hadoop/etc/hadoop/yarn-site.xml

	<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
	</property>

在这里插入图片描述

这一步是为了开启日志整合功能，spark 在遇到问题时，利用命令 /usr/local/hadoop/bin/yarn logs -applicationId XXX
即可查看 applicationId 为 XXX 的实例的运行日志

这里需要重新初始化hadoop，使得修改的hadoop配置文件生效；

  1. 运行 spark;

    1. 运行 hadoop;
    /usr/local/hadoop/sbin/start-all.sh
    1. 在 spark 中创建 historyserverforSpark 文件夹;
    /usr/local/hadoop/bin/hdfs dfs -mkdir /historyserverforSpark
    1. 运行 spark;
    /usr/local/spark/sbin/start-all.sh

    可以进入 spark 的 webui 查看是否成功启动:
    masterIP:8080/
    在这里插入图片描述
    masterIP:8088/cluster
    在这里插入图片描述

    1. 运行 history-server，这样应用运行完的结果可以通过 webui 看到。
    usr/local/spark/sbin/start-history-server.sh

    在这里插入图片描述

安装过程中的注意事项

防火墙问题

安装过程中需要关闭所有节点的防火墙，参考命令如下：

# CentOS 7的方式
systemctl stop firewalld.service #停止防火墙
systemctl start firewalld.service #开启防火墙
systemctl status firewalld.service #查看防火墙状态
systemctl enable firewalld.service #开机自启 “启用”
systemctl disable firewalld.service #开机自启 “禁用”

启动hadoop后查看节点启动数量

hdfs dfsadmin -report

hadoop多次初始化问题

在多次初始化之前，先删除对应的data、name、tmp文件夹，然后再进行初始化命令。

hadoop启动后live node数量为1问题

若hadoop启动后，master和slave节点输入jsp返回的信息都是正确的，但live node只有1个，且是master节点时，可能时hosts有问题，这是进入hosts修改ip，只有一个localhost=127.0.0.1；
在这里插入图片描述

live node问题参考：Hadoop-2.2.0集群部署时live nodes数目不对的问题

pengjh24
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark集群部署.docx
12-07
总之，Spark集群部署是一个涉及多方面因素的过程，需要根据实际需求选择合适的部署模式，并进行细致的配置以保证集群的稳定性和性能。在YARN模式下，Spark能够充分利用Hadoop的资源管理能力，实现灵活、高效的计算...
spark安装配置
m0_66279156的博客
06-02 3785
spark安装配置
spark的安装与部署
weixin_65195823的博客
06-28 1万+
为了避免MapReduce框架中多次读写磁盘带来的消耗，以及更充分地利用内存，加州大学伯克利分校的AMP Lab提出了一种新的、开源的、类Hadoop MapReduce的内存编程模型Spark。一、spark是什么？Spark是一个基于内存的大数据并行处理框架，其最初由加州大学伯克利分校的AMP Lab研发，现已成为Apache软件基金会的顶级项目之一。Spark不仅提供了可扩展、高容错、高性能的分布式数据处理，还提供了内存级的数据处理。
Spark安装配置【全网最全保姆级教程】
最新发布
m0_63324772的博客
05-30 1700
前提JDK 1.8Hadoop 3.1.3（伪分布式）Hadoop安装教程：在上述教程中已经配置py4jPyspark注：**【此教程版本】**Spark3.0.0对应的是Python3.8即Ubuntu自带的Python版本，所以如果你的Ubuntu版本为20，那么就下载Spark3.0.0的。
大数据技术——spark集群搭建
qq_53142796的博客
04-13 5001
Spark是一个开源的大数据处理框架，它可以在分布式计算集群上进行高效的数据处理和分析。Spark的特点是速度快、易用性高、支持多种编程语言和数据源。Spark的核心是基于内存的计算模型，可以在内存中快速地处理大规模数据。Spark支持多种数据处理方式，包括批处理、流处理、机器学习和图计算等。Spark的生态系统非常丰富，包括Spark SQL、Spark Streaming、MLlitGraphX等组件，可以满足不同场景下的数据处理需求。
Spark运行环境搭建
weixin_52112640的博客
06-07 2550
（2）启动Local环境 进入解压缩后的路径，执行一下命令
超详细Spark on yarn 集群搭建部署
Alex的博客
11-14 1247
1.首先准备软件包 下载地址：https://www.apache.org/dyn/closer.lua/spark/spark-2.4.3/spark-2.4.3-bin-hadoop2.7.tgz 2.解压到对应目录后，修改配置文件（前提Java已经安装过了） 解压的Linux命令：tar -zxvf spark-2.4.3-bin-hadoop2.7.tgz 3.配置环境变量 ...
spark集群部署
10-08
spark部署
Spark2.4.3集群部署
09-14
Spark2.4.3集群部署是将Spark集群安装到多台机器上，以达到分布式计算和大规模数据处理的目的。下面是Spark2.4.3集群部署的详细知识点： 1. Master 节点配置 Master 节点是Spark集群的中心节点，负责协调和管理整个...
基于Python的Spark集群部署自动化脚本设计源码
04-10
本项目是一个基于Python的Spark集群部署自动化脚本设计源码，共包含40个文件，其中包括34个Python文件。该系统旨在自动化部署Spark集群，简化部署流程，提高部署效率。系统设计注重可扩展性和易用性，采用模块化的...
Spark系列(一)spark简介及安装配置
qq_38130094的博客
07-13 6273
什么是Spark：Spark是一个用于大规模数据处理的统一计算引擎注意：Spark不仅仅可以做类似于MapReduce的离线数据计算，还可以做实时数据计算，并且它还可以实现类似于Hive的SQL计算，等等，所以说它是一个统一的计算引擎内存计算Spark中一个最重要的特性就是基于内存进行计算，从而让它的计算速度可以达到MapReduce的几十倍甚至上百倍2. spark特点：2.1 Speed：速度快由于Spark是基于内存进行计算的，所以它的计算性能理论上可以比MapReduce快100倍。
Spark环境搭建安装及配置详细步骤（保姆教程）
热门推荐
m0_67144365的博客
05-11 1万+
Spark环境搭建安装及配置详细步骤
Spark集群安装部署
MJK祺的博客
05-18 1768
由于Spark仅仅是一种计算机框架，不负责数据的存储和管理，因此，通常都会将Spark和Hadoop进行统一部署，由Hadoop中的HDFS，HBase等组件负责数据的存储管理，Spark负责数据计算。本文章主要阐述在Standalone模式下，Spark集群的安装和配置。Yarn模式不需要启动spark集群，只需要启动hadoop集群即可，在启动hadoop集群之前，需要在yarn-site.xml文件关闭内存检查，否则在测试官方案例时可能会报错。至此，Spark集群配置就完成了。
Docker环境部署Hadoop并使用docker构建spark运行案列（全网最详细教程）
未来社会二十年发展的核心技术趋势由ABCD四个字母组成，分别是AI（人工智能）、BlockChain（区块链）、Cloud（云）、和Data（大数据）每一次进步都有新的认知和感触
11-04 7596
本文主要是Docker部署hadoop 和使用docker构建spark运行环境，里面有详细的安装配置教程和操作说明，环境没问题的话，按照操作基本都能部署完成和运行，后面也有一些案列可以帮助更好的操作和理解hadoop和spark运行原理。
Spark 下载、安装与配置
梁辰兴的博客
03-29 1万+
Apache Spark 是一个快速的通用集群计算系统。它提供了Java， Scala， Python ，R 四种编程语言的 API 编程接口和基于 DAG 图执行的优化引擎。它还支持一系列丰富的高级工具：处理结构化数据的 Spark SQL，用于机器学习的 MLlib，控制图、并行图操作和计算的一组算法和工具的集合 GraphX，数据流处理 Spark Streaming。
Spark-3.2.4 高可用集群安装部署详细图文教程
Stars.Sky 的博客
09-15 4820
Spark-3.2.4 高可用集群安装部署详细图文教程
大数据随记 —— Spark 基本安装及相关配置
繁依Fanyi的博客
08-18 2535
输入 http://master:8080/，或者 主节点ip:8080 进入Master 资源监控 Web UI 界面。② 修改 spark-env.sh 文件，添加 JAVA_HOME 环境变量和集群对应的 master 节点。一般选择好 Spark 版本后就会出现配置方法。进入 Spark 的 conf 目录。② 在 workers 中添加以下节点。① 拷贝 spark-env.sh。⑤ 配置 Spark 环境变量。③ 移动相关文件到指定目录。① 拷贝 workers。① 进入安装包所在目录。...
从零开始搭建spark集群环境
白学病患者的专栏
04-21 5167
CentOS7.9 + Hadoop 3.2.3 + Spark3.2.1 + Anaconda3
centos7三个节点的 spark集群搭建
赴前尘
08-30 1282
一.前期准备： 三台centos7虚拟机hadoop01,hadoop02,hadoop03(已成功完成hadoop集群搭建)，xshell,xftp,spark安装包（https://www.apache.org/dyn/closer.lua/spark/spark-2.4.3/spark-2.4.3-bin-hadoop2.7.tgz） 说明：以下全部使用root用户进行操作 二.针对h...
spark集群部署模式
05-19
Spark集群可以部署在以下几种模式中： 1. Local Mode：本地模式是一个单机模式，适合于开发和测试小规模的Spark程序。 2. Standalone Mode：独立模式是最常用的部署模式，其中Spark集群由Spark自身的管理器管理。 ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值