【部署Spark2.4.8+hadoop2.7.3集群】

已于 2022-10-12 16:55:24 修改
阅读量697 收藏 1
点赞数
分类专栏： Hadoop Spark 文章标签： spark 大数据 hadoop
于 2022-10-12 14:20:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pblh123/article/details/127281822
版权

CSDN话题挑战赛第2期
参赛话题：大数据学习成长记录

文章目录

Spark集群部署

项目中需要使用Spark集群，通过Spark core, Spark SQL技术完成项目中的分析需求，因此需要完成Spark集群的部署，在原有的高可用Hadoop集群的基础上完成Spark集群部署。

下载Spark，Scala安装包

Spark安装包地址：https://archive.apache.org/dist/spark/spark-2.4.8/
在这里插入图片描述

选择spark-2.4.8-bin-hadoop2.7.tgz下载安装

Scala安装包：https://scala-lang.org/download/2.11.8.html
在这里插入图片描述

选择scala-2.11.8.tgz下载安装

返回目录

集群规划

集群规划

序号IP主机别名角色集群
1192.168.137.110node1NameNode(Active),DFSZKFailoverController（ZKFC),ResourceManager,mysql,RunJar（Hive服务端-metastore),RunJar（Hive服务端-hiveserver2),MasterHadoop,Spark
2192.168.137.111node2DataNode,JournalNode,QuorumPeerMain,NodeManager，RunJar(Hive客户端,启动时有),WorkerZookeeper,Hadoop,Spark
3192.168.137.112node3DataNode,JournalNode,QuorumPeerMain,NodeManager，RunJar(Hive客户端,启动时有),WorkerZookeeper,Hadoop,Spark
4192.168.137.113node4DataNode,JournalNode,QuorumPeerMain,NodeManager，RunJar(Hive客户端,启动时有),WorkerZookeeper,Hadoop,Spark
5192.168.137.114node5NameNode(Standby),DFSZKFailoverController(ZKFC),ResourceManager,JobHistoryServer，RunJar(Hive客户端,启动时有),WorkerHadoop,Spark

返回目录

部署Scala

Spark基于Scala开发，许多应用需要使用到scala代码，因此需要部署Scala到集群每个节点

安装包上传到node1，并解压

tar -zxvf scala-2.11.8.tgz -C /opt/soft_installed/

部署Scala

# 配置环境变量
vim /etc/profile

# 配置Scala
SCALA_HOME=/opt/soft_installed/scala-2.11.8

PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$ZOOKEEPER_HOME/b
in:$HIVE_HOME/bin:$SCALA_HOME/bin

export PATH JAVA_HOME JRE_HOME CLASSPATH HADOOP_HOME HADOOP_LOG_DIR YARN_LOG_DIR HADOOP_CONF
_DIR HADOOP_HDFS_HOME HADOOP_YARN_HOME ZOOKEEPER_HOME HIVE_HOME SCALA_HOME

source /etc/profile

验证Scala部署

[root@master scala-2.11.8]# scala
Welcome to Scala 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_171).
Type in expressions for evaluation. Or try :help.

scala> 2022 + 1991
res0: Int = 4013

分发Scala到其他节点

对集群的其他节点进行相同操作（node2~node5）

scp -r /opt/soft_installed/scala-2.11.8 node2:/opt/soft_installed

安装包上传解压

通过mobaXterm上传spark安装包到node1节点


# 解压
tar -zxvf spark-2.4.8-bin-hadoop2.7.tgz -C /opt/soft_installed/

# 删除安装包
rm spark-2.4.8-bin-hadoop2.7.tgz -rf

返回目录

修改Spark配置

配置spark-env.sh

cd /opt/soft_installed/spark-2.4.8-bin-hadoop2.7/conf
cp spark-env.sh.template spark-env.sh

# 在spark-env.sh尾部添加如下内容
vim spark-env.sh


# 配置JDK,HADOOP
export JAVA_HOME=/opt/soft_installed/jdk1.8.0_171
export HADOOP_HOME=/opt/soft_installed/hadoop-2.7.3
export HADOOP_CONF_DIR=/opt/soft_installed/hadoop-2.7.3/etc/hadoop
export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native
export SCALA_HOME=/opt/soft_installed/scala-2.11.8
export YARN_CONF_DIR=/opt/soft_installed/hadoop-2.7.3/etc/hadoop

# SPARK
export SPARK_MASTER_IP=node1
export SPARK_MASTER_HOST=node1
export SPARK_MASTER_PORT=7077
export SPARK_LOG_DIR=/opt/soft_installed/spark-2.4.8-bin-hadoop2.7/logs
export SPARK_HOME=/opt/soft_installed/spark-2.4.8-bin-hadoop2.7
export SPARK_PID_DIR=${SPARK_HOME}/pids
export SPARK_MASTER_WEBUI_PORT=8099
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=19022 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs://lh1/spark/history"

# SPARK WORK
export SPARK_WORKER_MEMORY=512m
export SPARK_WORKER_CORES=1

配置spark-defaults.conf

cd /opt/soft_installed/spark-2.4.8-bin-hadoop2.7/conf
cp spark-defaults.conf.template spark-defaults.conf
# 在其尾部添加
vim spark-defaults.conf

spark.master    spark://node1:7077
spark.eventLog.enabled  true
spark.eventLog.dir      hdfs://lh1/spark/history
spark.eventLog.compress true
spark.yarn.historyServer.address        node5:19022

配置slaves

cd /opt/soft_installed/spark-2.4.8-bin-hadoop2.7/conf
cp slaves.template slaves

# 在slaves尾部添加如下内容
vim slaves
# A Spark Worker will be started on each of the machines listed below.
node2
node3
node4
node5

返回目录

配置yarn-site.xml文件

cd $HADOOP_HOME/etc/hadoop
vim yarn-site.xml



        <!-- 虚拟内存的比率，是物理内存的倍数 -->
        <property>
                <name>yarn.nodemanager.vmem-pmem-ratio</name>
                <value>4</value>
        </property>

        <!-- 由于测试环境的虚拟机内存太少, 防止将来任务被意外杀死, 做如下配置 -->
        <!-- 是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其
杀掉，默认是true -->
        <property>
                <name>yarn.nodemanager.pmem-check-enabled</name>
                <value>false</value>
        </property>
        <!--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀
掉，默认是true -->
        <property>
                <name>yarn.nodemanager.vmem-check-enabled</name>
                <value>false</value>
        </property>

		<property>
                <name>yarn.log-aggregation-enable</name>
                <value>true</value>
        </property>
        <!-- 日志保留时间设置7天 -->
        <property>
                <name>yarn.log-aggregation.retain-seconds</name>
                <value>604800</value>
        </property>
        <!-- 日志服务配置 -->
        <property>
                <name>yarn.log.server.url</name>
                <value>http://node5:19888/jobhistory/logs</value>
        </property>

返回目录

分发安装包

将node1上配置好的spark软件包分发到其他节点

cd /opt/soft_installed/

scp -r /opt/soft_installed/spark-2.4.8-bin-hadoop2.7 node2:`pwd`
scp -r /opt/soft_installed/spark-2.4.8-bin-hadoop2.7 node3:`pwd`
scp -r /opt/soft_installed/spark-2.4.8-bin-hadoop2.7 node4:`pwd`
scp -r /opt/soft_installed/spark-2.4.8-bin-hadoop2.7 node5:`pwd`

cd $HADOOP_HOME/etc/hadoop

scp yarn-site.xml node2:`pwd` 
scp yarn-site.xml node3:`pwd` 
scp yarn-site.xml node4:`pwd` 
scp yarn-site.xml node5:`pwd`

返回目录

启动集群

启动spark集群需要先启动

  • hadoop集群
  • hive(如果需要用到hive)
/opt/soft_installed/spark-2.4.8-bin-hadoop2.7/sbin/start-all.sh

查看node1节点和node5节点启动后的jps

在这里插入图片描述

返回目录

集群运行验证

web验证集群运行状态

登录http://node1:8099/
在这里插入图片描述

提交jar任务

# 提交到yarn结果客户端看不到，yarn application可以看到
# 
/opt/soft_installed/spark-2.4.8-bin-hadoop2.7/bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
--driver-memory 512m \
--executor-memory 512m \
--executor-cores 2 \
--queue default \
/opt/soft_installed/spark-2.4.8-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.4.8.jar 1000

# client运行模式，可以直接看到运行结果
/opt/soft_installed/spark-2.4.8-bin-hadoop2.7/bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode client \
--driver-memory 512m \
--executor-memory 512m \
--executor-cores 2 \
--queue default \
/opt/soft_installed/spark-2.4.8-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.4.8.jar 1000
Pi is roughly 3.1450157250786255

在这里插入图片描述

spark-shell 测试

[root@yarnserver hadooptest]# /opt/soft_installed/spark-2.4.8-bin-hadoop2.7/bin/spark-shell
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
22/10/10 00:39:59 WARN Client: Neither spark.yarn.jars nor spark.yarn.archive is set, falling back to uploading libraries under SPARK_HOME.
Spark context Web UI available at http://yarnserver.phlh123.cn:4040
Spark context available as 'sc' (master = yarn, app id = application_1665297503457_0018).
Spark session available as 'spark'.
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.4.8
      /_/

Using Scala version 2.11.12 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_171)
Type in expressions to have them evaluated.
Type :help for more information.


scala> sc.textFile("hdfs://lh1/wordcount/input/class19_3.txt").flatMap(_.split(" ")).map((_, 1)).reduceByKey(_+_).collect()
res0: Array[(String, Int)] = Array((大数据专业,3), ("",1), (贵州师范大学,3), (19级,3), (20220908,1))

scala>

返回目录

配置一键启停脚本

[root@master scripts]# cat onekeyspark.sh
#! /bin/bash

# spark集群

case $1 in
"start")
        echo "==========  now start spark cluster  =========="
        /opt/soft_installed/spark-2.4.8-bin-hadoop2.7/sbin/start-all.sh
        ssh node5 "source /etc/profile; /opt/soft_installed/spark-2.4.8-bin-hadoop2.7/sbin/start-history-server.sh"
        ssh node5 "source /etc/profile ; /opt/soft_installed/spark-2.4.8-bin-hadoop2.7/sbin/start-master.sh";;
"stop")
        echo "==========  now stop spark cluster  =========="
        /opt/soft_installed/spark-2.4.8-bin-hadoop2.7/sbin/stop-all.sh
        ssh node5 "source /etc/profile;/opt/soft_installed/spark-2.4.8-bin-hadoop2.7/sbin/stop-history-server.sh"
        ssh node5 "source /etc/profile ; /opt/soft_installed/spark-2.4.8-bin-hadoop2.7/sbin/stop-master.sh";;
*)
        echo Invalid Args!
        echo 'Usage: '$(basename $0)' start|stop';;
esac
pblh123
关注
专栏目录
spark集群部署Spark2.4.8
weixin_66488549的博客
11-30 660
Spark2.4.8 spark集群部署
spark-2.4.8-bin-hadoop2.7.tgz
10-25
spark-2.4.8-bin-hadoop2.7.tgz
Spark 下载安装配置详解文档 (spark-2.4.8-bin-hadoop2.7.tgz)
GX_0824的博客
09-24 3430
解压tar -zxvf spark-2.4.8-bin-hadoop2.7.tgz -C /opt/moudel/官网地址：https://archive.apache.org/dist/spark/重命名mv spark-2.4.8-bin-hadoop2.7 spark-2.4.8。进入/usr/local/spark-2.4.8-bin-hadoop2.7/conf。上传spark-2.4.8-bin-hadoop2.7.tgz。进入/opt/moudel/spark-2.4.8/sbin。
spark-2.4.8-bin-hadoop2.7 Name or service not knownstname
qq 117791303
09-15 242
spark-2.4.8-bin-hadoop2.7 Name or service not knownstname
请用旧版的 Scala-2.11 搭配 Spark-2.4.8 / hadoop-2.7
阿群的笔记(同步备份自简书)
09-02 465
Spark 2.3.x 和 2.4.x 版本兼容 Scala 2.11 (except version 2.4.2, which is pre-built with Scala 2.12 ). Spark 2.4.x系列已经更新到 2.4.8 了 Spark 3.0+ is pre-built with Scala 2.12. 没有特殊需求的话老老实实用旧版的 Scala 2.11 搭配 ...
Spark集群搭建（Hadoop+Spark+Zookeeper+HBase）
wahoo0301的博客
01-25 457
目录准备硬件配置基础环境安装JAVA 准备硬件 准备三台装有Centos7系统的电脑。 配置基础环境 1.创建新用户及设置密码： adduser spark和passwd spark 2.将新用户加入wheel组(可以使用sudo)：usermod -aG wheel spark 3.修改计算机名称 修改主机名字： sudo vi /etc/hostname 设置电脑的静态IP 修改hosts文件: 通过sudo vi /etc/hosts添加如下内容 192.168.11.137 master
spark2.4.8_on_hadoop3.3.3
10-10
《Spark 2.4.8 on Hadoop 3.3.3：构建高效大数据处理环境》 在大数据处理领域，Spark和Hadoop是两个至关重要的组件。Spark以其强大的内存计算能力，大大提升了数据处理速度，而Hadoop作为分布式存储和计算的基础...
Hadoop2.9.2+Spark2.4.8安装手册.txt
05-06
Hadoop2.9.2+Spark2.4.8安装手册.txt
查看Spark与Hadoop等其他组件的兼容版本
热门推荐
andyguan01_2的博客
01-22 1万+
安装与Spark相关的其他组件的时候，例如JDK，Hadoop，Yarn，Hive，Kafka等，要考虑到这些组件和Spark的版本兼容关系。这个对应关系可以在Spark源代码的pom.xml文件中查看。 一、 下载Spark源代码 打开网址https://github.com/apache/spark，例如选择v2.4.0-rc5版本，再点击“Clone or download”按钮，点击下方的...
spark的安装及部署
weixin_50158551的博客
04-01 189
1.解压 tar -zxvf spark-2.4.0-bin-hadoop2.7.tgz -C /export/servers 2.修改名字（以自己的版本号修改） mv spark-2.4.0-bin-hadoop2.7 spark 3.进入conf 修改spark-evn.sh 先改名 cd conf/ cp spark-env.sh.template spark-env.sh YARN_CONF_DIR=/export/servers/hadoop-3.1.3/etc/hadoop SPA
spark-2.4.0-bin-hadoop2.7.rar
05-28
spark-2.4.0-bin-hadoop2.7 ,下载超级慢，放在这里分享给大家.. 加压rar就可以
spark-2.4.0-bin-hadoop2.7
01-17
spark-2.4.0-bin-hadoop2.7
spark-2.4.7-bin-hadoop2.7.tgz
03-19
spark2.4.7版本兼容hadoop2.7版本，官网上下载的话会很慢。
spark-2.4.3-bin-hadoop2.7.tgz
06-13
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。
spark-2.4.0-bin-hadoop2.7.tgz.zip
06-08
Apache Spark是一个开源集群运算框架，最初是由加州大学柏克莱分校AMPLab所开发。相对于Hadoop的MapReduce会在运行完工作后将中介数据存放到磁盘中，Spark使用了存储器内运算技术，能在数据尚未写入硬盘时即在存储器内分析运算。Spark在存储器内运行程序的运算速度能做到比Hadoop MapReduce的运算速度快上100倍，即便是运行程序于硬盘时，Spark也能快上10倍速度。[1]Spark允许用户将数据加载至集群存储器，并多次对其进行查询，非常适合用于机器学习算法。
Windows环境下配置spark-hadoop
JanLEE
11-23 398
目录 Windows环境下配置pyspark 工具准备 链接自取 环境配置 测试环境 错误排除 总结 Windows环境下配置pyspark 相信许多朋友在配置环境的时候都遇到各种坑，这篇文章就系统的来描述一下spark-hadoop在python里运用时的相关配置流程。 工具准备 python3.7 jdk1.8 spark-2.3.2-bin-hadoop2.7 pyspark 2.3.2 刚开始配置环境的时候，我自己用的是Anaconda下3.8的python环境加上jdk14.0.2和pyspar
Hadoop环境下安装Spark-2.4.8
最新发布
qq_54103767的博客
09-23 290
JDK（1.8）
win7环境下jdk8、Scala、Spark、Hadoop的环境配置
meng_xiaohua的博客
01-23 372
由于Spark是用Scala来写的，所以Spark对Scala肯定是原生态支持的，因此这里以Scala为主来介绍Spark环境的搭建，主要包括四个步骤，分别是：JDK的安装，Scala的安装，Spark的安装，Hadoop的下载和配置。 1.JDK的安装 jdk1.8下载地址：https://www.oracle.com/technetwork/java/javase/downloads/jd...
Windows下安装spark-hadoop步骤
xujingpilot的博客
02-15 1829
前言 本章将介绍如何在Windows下实现spark环境搭建。 本章概要 1、版本说明 2、环境准备： jdk配置； spark安装与配置； hadoop安装与配置； IDEA的安装与配置 版本说明 jdk：1.8 spark：2.4.5 hadoop：2.7.1 我把的安装软件的放到云盘了，链接：https://pan.baidu.com/s/1A7CJSYHmuin...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值