spark学习笔记（搭建）（先配置zookeeper）

已于 2023-12-31 21:07:01 修改
阅读量78 收藏
点赞数
文章标签： spark 学习 大数据
于 2022-09-26 20:30:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_62380583/article/details/126997992
版权

目录

概念

特点

组成模块

搭建

local本地模式(单机版)

准备

原理

 操作

           测试-运行spark-shell

           打开web界面

web界面

           使用示例  读取本地文件并计算

关闭

Standalone-独立集群模式

原理

          各个节点功能

操作

测试--运行

           在主节点上启动spark集群------------------

           在主节点上停止spark集群

            jps   

            单独启动  主节点上单独启动和停止Master-----------------

           在从节点上单独启动和停止Worker(Worker指的是slaves配置文件中的主机名)

             集群的停止

web界面（重要）

启动spark-shell   测试任务

            执行

StandlonaHA高可用

原理

 操作

启动

模拟node1宕机

测试-WordCount

spark-On-Yarn用的多

原理

 操作-准备工作

         启动服务

          UI页面

操作-spark任务提交

           client模式-了解

     查看web界面

            cluster模式-开发使用

     查看web界面

概念

spark是大规模数据处理的统一分析引擎

特点

高效  速度超Hadoop

使用简单

功能多  通用性

可以运行在多个地方（可以在Hadoop上）

组成模块

搭建

安装包下载

 或者官网  Apache Spark™ - Unified Engine for large-scale data analytics

local本地模式(单机版)

准备

1 保证linux里有JDK（Spark源码是Scala编写的,编译成.class文件，运行在JVM之上）

原理

使用本地的多线程 模拟Spark集群中的各个角色

 操作

上传安装包

上传到 /export/server目录下

cd /export/server/

解压安装包

tar -zxvf spark-3.0.1-bin-hadoop2.7.tgz

修改权限

chown -R root /export/server/spark-3.0.1-bin-hadoop2.7

chgrp -R root /export/server/spark-3.0.1-bin-hadoop2.7

改名（或创建软连接）

ln -s /export/server/spark-3.0.1-bin-hadoop2.7 /export/server/spark

测距课程包括境外

           测试-运行spark-shell

启动spark交互式窗口
 

/export/server/spark/bin/spark-shell

           打开web界面

http://node1:4040


web界面

jobs 

           使用示例  读取本地文件并计算

vim /root/words.txt

hello me you her
hello me you
hello me
hello

执行WordCount

val textFile = sc.textFile("file:///root/words.txt")
val counts = textFile.flatMap(_.split(" ")).map((_,1)).reduceByKey(_ + _)
counts.collect

web界面jods上刷新   有任务了

详情

关闭

crtl+c

jps（关闭前后 看一遍）

Standalone-独立集群模式

原理

          各个节点功能

类似Hadoop YARN 管理集群资源和调度资源

主节点Master

管理整个集群资源，接收提交应用，分配资源给每个应用，运行Task任务

从节点Workers

管理每个机器的资源，分配对应的资源来运行Task

每个从节点分配资源信息给Worker管理，资源信息包含内存Memory和CPU Cores核数

历史服务器（可选）

Spark Application 运行完成以后，保存事件日志数据到HDFS，启动HistoryServer可以查看应用运行相关信息

操作

集群规划

node1:master

ndoe2:worker/slave

node3:worker/slave

修改配置文件   配置worker

cd /export/server/spark/conf
mv slaves.template slaves
vim slaves

删除localhost

node2
node3

2，3配置为worker

配置master

cd /export/server/spark/conf

mv spark-env.sh.template spark-env.sh
vim spark-env.sh

增加如下内容（最后插入）

## 设置JAVA安装目录
JAVA_HOME=/export/server/jdk1.8.0_241

## HADOOP软件配置文件目录，读取HDFS上文件和运行Spark在YARN集群时需要,先提前配上
HADOOP_CONF_DIR=/export/server/hadoop-3.3.0/etc/hadoop
YARN_CONF_DIR=/export/server/hadoop-3.3.0/etc/hadoop

## 指定spark老大Master的IP和提交任务的通信端口
SPARK_MASTER_HOST=node1
SPARK_MASTER_PORT=7077

SPARK_MASTER_WEBUI_PORT=8080

SPARK_WORKER_CORES=1
SPARK_WORKER_MEMORY=1g

JAVA 和Hadoop如果不一样要改为自己的

（echo $JAVA_HOME）

分发到其他机器

cd /export/server/
scp -r spark-3.0.1-bin-hadoop2.7 root@node2:$PWD
scp -r spark-3.0.1-bin-hadoop2.7 root@node3:$PWD

分发完创建一个软连接（改名）node2  node3

ln -s /export/server/spark-3.0.1-bin-hadoop2.7 /export/server/spark

测试--运行

           在主节点上启动spark集群------------------

/export/server/spark/sbin/start-all.sh

           在主节点上停止spark集群

/export/server/spark/sbin/stop-all.sh

            jps   

node1 多了个master

node2、node3上多了个worker

            单独启动  主节点上单独启动和停止Master-----------------

start-master.sh
stop-master.sh

           在从节点上单独启动和停止Worker(Worker指的是slaves配置文件中的主机名)

start-slaves.sh
stop-slaves.sh

             集群的停止

/export/server/spark/sbin/stop-all.sh

web界面（重要）

spark: 4040 任务运行job web-ui界面端口

spark: 8080 spark集群web-ui界面端口

spark: 7077 spark提交任务时的通信端口

hadoop: 50070集群web-ui界面端口

hadoop:8020/9000(老版本) 文件上传下载通信端口
 

启动spark-shell   测试任务

启动spark-shell

/export/server/spark/bin/spark-shell --master spark://node1:7077

提交一个任务测试

直接提交（按照上面的local模式）  不行    worker是node2  node3   其上没有数单词数那个文件

先上传文件到hdfs

hadoop fs -put /root/words.txt /wordcount/input/words.txt

目录如果不存在可以创建

hadoop fs -mkdir -p /wordcount/input

结束后可以删除测试文件夹

hadoop fs -rm -r /wordcount

            执行

val textFile = sc.textFile("hdfs://node1:8020/wordcount/input/words.txt")
val counts = textFile.flatMap(_.split(" ")).map((_,1)).reduceByKey(_ + _)
counts.collect
counts.saveAsTextFile("hdfs://node1:8020/wordcount/output47")

查看结果

http://node1:50070/explorer.html#/wordcount/output47/

查看spark任务web-ui

http://node1:4040/jobs/


StandlonaHA高可用

原理

主Master只有一个   再加一个

 操作

停止集群

/export/server/spark/sbin/stop-all.sh

node1上配置

vim /export/server/spark/conf/spark-env.sh

 去掉注释

#SPARK_MASTER_HOST=node1

最后加上（一行）

SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=node1:2181,node2:2181,node3:2181 -Dspark.deploy.zookeeper.dir=/spark-ha"

分发配置

cd /export/server/spark/conf
scp -r spark-env.sh root@node2:$PWD
scp -r spark-env.sh root@node3:$PWD

启动

启动zk服务（先要去配置zookeeper）

/opt/module/zookeeper/apache-zookeeper-3.5.6-bin/bin/zkServer.sh start
（node1 node2 node3都要）

zkServer.sh status
zkServer.sh stop
zkServer.sh start

node1上启动Spark集群执行

/export/server/spark/sbin/start-all.sh

在node2上再单独只起个master:两个master

/export/server/spark/sbin/start-master.sh

查看WebUI

http://node1:8080/

http://node2:8080/

模拟node1宕机

jps

kill -9 进程id（这里是Master的进程号）

再次查看web-ui

http://node1:8080/（刷新  挂了）

http://node2:8080/（ALIVE）

测试-WordCount

/export/server/spark/bin/spark-shell --master spark://node1:7077,node2:7077

spark上运行

val textFile = sc.textFile("hdfs://node1:8020/wordcount/input/words.txt")
val counts = textFile.flatMap(_.split(" ")).map((_,1)).reduceByKey(_ + _)
counts.collect
counts.saveAsTextFile("hdfs://node1:8020/wordcount/output47_2")

spark-On-Yarn用的多

原理

 

 操作-准备工作

关闭之前的Spark-Standalone集群

/export/server/spark/sbin/stop-all.sh

(jps  kill -9 (Master)node2

jps node3)(不知道用不用做)

配置Yarn历史服务器并关闭资源检查
 

vim /export/server/hadoop/etc/hadoop/yarn-site.xml
<configuration>
    <!-- 配置yarn主节点的位置 -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>node1</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <!-- 设置yarn集群的内存分配方案 -->
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>20480</value>
    </property>
    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>2048</value>
    </property>
    <property>
        <name>yarn.nodemanager.vmem-pmem-ratio</name>
        <value>2.1</value>
    </property>
    <!-- 开启日志聚合功能 -->
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    <!-- 设置聚合日志在hdfs上的保存时间 -->
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
    </property>
    <!-- 设置yarn历史服务器地址 -->
    <property>
        <name>yarn.log.server.url</name>
        <value>http://node1:19888/jobhistory/logs</value>
    </property>
    <!-- 关闭yarn内存检查 -->
    <property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>false</value>
    </property>
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>
</configuration>

（配置了需要分发并重启yarn）

cd /export/server/hadoop/etc/hadoop
scp -r yarn-site.xml root@node2:$PWD
scp -r yarn-site.xml root@node3:$PWD
/export/server/hadoop/sbin/stop-yarn.sh
/export/server/hadoop/sbin/start-yarn.sh

配置Spark的历史服务器和Yarn的整合

cd /export/server/spark/conf
mv spark-defaults.conf.template spark-defaults.conf
vim spark-defaults.conf

添加内容

spark.eventLog.enabled                  true
spark.eventLog.dir                      hdfs://node1:8020/sparklog/
spark.eventLog.compress                 true
spark.yarn.historyServer.address        node1:18080

vim /export/server/spark/conf/spark-env.sh
## 配置spark历史日志存储地址
SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=hdfs://node1:8020/sparklog/ -Dspark.history.fs.cleaner.enabled=true"

注意:sparklog需要手动创建

hadoop fs -mkdir -p /sparklog

修改日志级别

cd /export/server/spark/conf

mv log4j.properties.template log4j.properties
vim log4j.properties

 分发-可选,如果只在node1上提交spark任务到yarn,那么不需要分发

cd /export/server/spark/conf

 scp -r spark-env.sh root@node2:$PWD

 scp -r spark-env.sh root@node3:$PWD

  

 scp -r spark-defaults.conf root@node2:$PWD

 scp -r spark-defaults.conf root@node3:$PWD

   

 scp -r log4j.properties root@node2:$PWD

 scp -r log4j.properties root@node3:$PWD

配置依赖的Spark 的jar包

在HDFS上创建存储spark相关jar包的目录

hadoop fs -mkdir -p /spark/jars/

上传$SPARK_HOME/jars所有jar包到HDFS

hadoop fs -put /export/server/spark/jars/* /spark/jars/

在node1上修改spark-defaults.conf

vim /export/server/spark/conf/spark-defaults.conf

 添加内容

spark.yarn.jars  hdfs://node1:8020/spark/jars/*

分发同步-可选

cd /export/server/spark/conf
scp -r spark-defaults.conf root@node2:$PWD
scp -r spark-defaults.conf root@node3:$PWD

         启动服务

启动HDFS和YARN服务，在node1执行命令

start-dfs.sh
start-yarn.sh

或者

start-all.sh

启动MRHistoryServer服务，在node1执行命令

mr-jobhistory-daemon.sh start historyserver

启动Spark HistoryServer服务，，在node1执行命令

/export/server/spark/sbin/start-history-server.sh

          UI页面

MRHistoryServer服务WEB UI页面

http://node1:19888

Spark HistoryServer服务WEB UI页面

http://node1:18080/

操作-spark任务提交

           client模式-了解

1需要Yarn集群

2历史服务器

3提交任务的客户端工具-spark-submit命令

4待提交的spark任务/程序的字节码--（自己不会创建可以用示例程序）

示例程序--求圆周率

SPARK_HOME=/export/server/spark
${SPARK_HOME}/bin/spark-submit \
--master yarn  \
--deploy-mode client \
--driver-memory 512m \
--driver-cores 1 \
--executor-memory 512m \
--num-executors 2 \
--executor-cores 1 \
--class org.apache.spark.examples.SparkPi \
${SPARK_HOME}/examples/jars/spark-examples_2.12-3.0.1.jar \
10

     查看web界面

http://node1:8088/cluster

            cluster模式-开发使用

SPARK_HOME=/export/server/spark
${SPARK_HOME}/bin/spark-submit \
--master yarn \
--deploy-mode cluster \
--driver-memory 512m \
--executor-memory 512m \
--num-executors 1 \
--class org.apache.spark.examples.SparkPi \
${SPARK_HOME}/examples/jars/spark-examples_2.12-3.0.1.jar \
10

     查看web界面

http://node1:8088/cluster

乐土挚友
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hadoop、spark、zookeeper配置大全，绝对可用
10-19
略有些简陋，但绝对可用。hadoop、spark、zookeeper配置大全，绝对可用。
zookeeper笔记和搭建
07-23
资源名称：zookeeper笔记和搭建 资源太大，传百度网盘了，链接在附件中，有需要的同学自取。
zookeeper：spark-project项目的zookeeper配置
不花的花和尚的博客
09-18 404
安装ZooKeeper 1、将zookeeper-3.4.5-cdh5.3.6.tar.gz使用WinSCP拷贝到sparkproject1的/usr/local目录下。 2、对zookeeper-3.4.5-cdh5.3.6.tar.gz进行解压缩：tar -zxvf zookeeper-3.4.5-cdh5.3.6.tar.gz。 3、对zookeeper目录进行重命名：mv zooke...
Spark笔记
最新发布
m0_74459849的博客
05-11 530
（3）first()/head()/take()/takeAsList()：获取若干条记录。方式2：var gsj:Array[String] = Array(元素1,元素2,…(2)select()/selectExpr()/col()/apply()方法。(4)collect()/collectAsList():获取所有数据。takeAsList(n):获取前n条记录,并以列表的形式展现。limit():获取指定DataFrame数据的前n条记录。15.使用键值对RDD的groupByKey()方法。
hadoop、zookeeper、spark集群配置
fyphome
04-28 835
大数据第一阶段配置： 软件版本： 配置环境变量： 我环境变量放在自定义文件中/etc/profile.d/my_env_sh中，配置有jdk、hadoop、spark、scala、zookeeper、 hadoop配置： 我的hadoop版本是3.1.4 在目录/opt/module/hadoop-3.1.4/etc/hadoop下，我配置了core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml这四个配置文件 core-site.x
spark基于Zookeeper配置高可用
weixin_59061079的博客
11-03 962
spark配置高可用
Spark环境搭建部署全流程（Linux），看这一篇就够了
Rain_2021245488的博客
08-09 1264
本篇文章将给各位展示如何快速地在linux上搭建spark，本文搭建的环境为以下是我总结出的，如果是新手，请按流程走完，如果是有过搭建经验的，可根据所需点击相应链接。
spark+hadoop+kafka+zookeeper 大数据平台搭建脚本
07-04
spark+hadoop+zookeeper 大数据平台搭建脚本，亲测通过，适用于大数据初学者在虚拟机玩
Zookeeper学习笔记
03-07
今晚上在上传学习笔记的时候，看了之前发布的文章，突然发现对于我上传的学习笔记是没有展示出来的，所以在这里对笔记进行重新的上传。不知道能不能上传成功！
SpringCloud用Zookeeper搭建配置中心的方法
08-27
本文主要介绍了使用 SpringCloud 搭建配置中心的方法，该方法使用 Zookeeper 作为分布式服务框架来维护和监控存储的数据状态变化，从而达到基于数据的集群管理。 为什么使用 Zookeeper？ Zookeeper 作为一个分布式...
zookeeper完整学习笔记
03-28
- 概述 - 术语 - 分布式应用 - 介绍 - 架构 - 工作流 - Leader选举 - 安装服务 - CLI 操作 - java-api - 动态感知服务器上下线 - 实现Hadoop高可用（Hadoop-HA-High Availability）
spark学习笔记
09-05
spark笔记spark笔记
Spark集群安装之——Zookeeper+Kafka 安装教程
coderlaw's study
05-16 1600
1、安装和配置Zookeeper1) 下载Zookeeper进入http://www.apache.org/dyn/closer.cgi/zookeeper/，你可以选择其他镜像网址去下载，用官网推荐的镜像：http://mirror.bit.edu.cn/apache/zookeeper/下载zookeeper-3.4.6.tar.gz2) 安装Zookeeper提示：下面的步骤发生在Ma
spark集群部署(第三弹)
m0_57781407的博客
08-04 8567
（1）spark.deploy.recoveryMode=ZOOKEEPER：设置zookeeper去启用备用master模式 （2）spark.deploy.zookeeper.url=master：指定zookeeper的server地址 （3）spark.deploy.zookeeper.dir：保存集群元数据信息的文件和目录
2023_Spark_实验二十一：Zookeeper单机安装与配置
pblh123的专栏
11-27 1878
Zookeeper单机模式linux部署
linux搭建spark集群,详解Spark+Zookeeper搭建高可用Spark集群
weixin_39752941的博客
05-14 222
Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎；现在形成一个高速发展应用广泛的生态系统。Spark三种分布式部署方式比较目前Apache Spark支持三种分布式部署方式，分别是standalone、spark on mesos和 spark on YARN，详情参考。Spark standalone模式分布式部署 环境介绍主机名 应用tvm11 zookeepertvm1...
Spark学习笔记
cc__cc___的博客
12-28 876
Spark笔记
Spark学习笔记【基础概念】
qq_33129875的博客
03-18 1070
Spark学习笔记，基础概念。
Spark入门笔记
Wai0210的博客
01-30 473
学习Spark时的一些笔记，分享给大家
Zookeeper搭建和原理学习
07-05
本文将重点介绍Zookeeper的搭建和原理学习，以及Java客户端的操作。 Zookeeper的搭建相对简单，首先需要解压Zookeeper的安装包，然后配置环境变量，启动Zookeeper服务。在解压完成后，需要配置环境变量以便系统能够...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值