详细介绍Spark安装[内含测试小案例]

最新推荐文章于 2023-04-18 08:40:57 发布
最新推荐文章于 2023-04-18 08:40:57 发布
阅读量2k 收藏 10
点赞数 4
分类专栏： 五花八门的安装组件 # Spark 文章标签： Spark BigData
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43563705/article/details/109180023
版权

Spark

Spark运行模式

  • Local本地模式(单机)–开发测试使用:分为local单线程和local-cluster多线程
  • standalone独立集群模式–开发测试使用:典型的Mater/slave模式
  • standalone-HA高可用模式–生产环境使用:基于standalone模式，使用zk搭建高可用，避免Master是有单点故障的
  • on yarn集群模式–生产环境使用:运行在 yarn 集群之上，由 yarn 负责资源管理，Spark 负责任务调度和计算,好处：计算资源按需伸缩，集群利用率高，共享底层存储，避免数据跨集群迁移。
  • on mesos集群模式–国内使用较少:行在 mesos 资源管理器框架之上，由 mesos 负责资源管理，Spark 负责任务调度和计算
  • on cloud集群模式–中小公司未来会更多的使用云服务:比如 AWS 的 EC2，使用这个模式能很方便的访问 Amazon的 S3

Spark环境搭建

官方地址：http://spark.apache.org/

上传 & 解压

cd /export/servers
tar spark-2.2.0-bin-2.6.0-cdh5.14.0.tgz
mv spark-2.2.0-bin-2.6.0-cdh5.14.0 spark

注意：
如果有权限问题，可以修改为root，方便学习时操作，实际中使用运维分配的用户和权限即可

chown -R root /export/servers/spark
chgrp -R root /export/servers/spark

解压目录说明

  • bin 可执行脚本
  • conf 配置文件
  • data 示例程序使用数据
  • examples 示例程序
  • jars 依赖 jar 包
  • python pythonAPI
  • R R 语言 API
  • sbin 集群管理命令
  • yarn 整合yarn

启动spark-shell

  • 开箱即用
    直接启动bin目录下的spark-shell:
./spark-shell
  • Spark-shell说明
  1. 直接使用./spark-shell
    表示使用local 模式启动，在本机启动一个SparkSubmit进程
  2. 还可指定参数 --master，如：
    spark-shell --master local[N] 表示在本地模拟N个线程来运行当前任务
    spark-shell --master local[*] 表示使用当前机器上所有可用的资源
  3. 不携带参数默认就是
    spark-shell --master local[*]
  4. 后续还可以使用–master指定集群地址，表示把任务提交到集群上运行，如
./spark-shell --master spark://node01:7077
  1. 退出spark-shell
    使用 :quit

初体验-读取HDFS文件

words.txt

hello nihao shanghai
henan hello nihao zaima
chifan nihao shanghai hello

#准备数据：
#上传文件到hdfs
`hadoop fs -put /root/words.txt /wordcount/input/words.txt`

#目录如果不存在可以创建
`hadoop fs -mkdir -p /wordcount/input`

#结束后可以删除测试文件夹
`hadoop fs -rm -r /wordcount`

val textFile = sc.textFile("hdfs://node01:8020/wordcount/input/words.txt")
val counts = textFile.flatMap(_.split(" ")).map((_, 1)).reduceByKey(_ + _)
counts.saveAsTextFile("hdfs://node01:8020/wordcount/output")

Standalone集群模式

集群角色介绍

Spark是基于内存计算的大数据并行计算框架，实际中运行计算任务肯定是使用集群模式，那么我们先来学习Spark自带的standalone集群模式了解一下它的架构及运行机制。

Standalone集群使用了分布式计算中的master-slave模型，
master是集群中含有master进程的节点
slave是集群中的worker节点含有Executor进程
Spark架构图如下(先了解)：
http://spark.apache.org/docs/latest/cluster-overview.html
在这里插入图片描述

集群规划

node01:master
node02:slave/worker
node03:slave/worker

修改配置并分发

#修改Spark配置文件
cd /export/servers/spark/conf
mv spark-env.sh.template spark-env.sh
---------------------------------------
vim spark-env.sh
#配置java环境变量
export JAVA_HOME=/export/servers/jdk1.8
#指定spark Master的IP
export SPARK_MASTER_HOST=node01
#指定spark Master的端口
export SPARK_MASTER_PORT=7077
----------------------------------------
mv slaves.template slaves
vim slaves
node02
node03
------------------------------------

配置spark环境变量 (建议不添加，避免和Hadoop的命令冲突)
将spark添加到环境变量,添加以下内容到 /etc/profile.d

cd /etc/profile.d
vim spark.sh
export SPARK_HOME=/export/servers/spark
export PATH=$PATH:$SPARK_HOME/bin
-----------------------------------
注意:
hadoop/sbin 的目录和 spark/sbin 可能会有命令冲突
==start-all.sh stop-all.sh==
解决方案：
1.把其中一个框架的 sbin 从环境变量中去掉；
2.改名 hadoop/sbin/start-all.sh 改为: start-all-hadoop.sh

通过scp 命令将配置文件分发到其他机器上

scp -r /export/servers/spark node02:/export/servers
scp -r /export/servers/spark node03:/export/servers
scp /etc/profile root@node02:/etc
scp /etc/profile root@node03:/etc
source /etc/profile 刷新配置

集群启动和停止

#在主节点上启动spark集群
/export/servers/spark/sbin/start-all.sh
#在主节点上停止spark集群
/export/servers/spark/sbin/stop-all.sh
#单独启动和停止
#在 master 安装节点上启动和停止 master：
start-master.sh
stop-master.sh
#在 Master 所在节点上启动和停止worker(work指的是slaves 配置文件中的主机名)
start-slaves.sh
stop-slaves.sh
#查看web界面
#正常启动spark集群后，查看spark的web界面，查看相关信息。
http://node01:8080/

测试

需求：
使用集群模式运行Spark程序读取HDFS上的文件并执行WordCount

# 集群模式启动spark-shell：
/export/servers/spark/bin/spark-shell --master spark://node01:7077
------------------------------------------------------------------
#运行程序:
sc.textFile("hdfs://node01:8020/wordcount/input/words.txt")
.flatMap(_.split(" ")).map((_, 1)).reduceByKey(_ + _)
.saveAsTextFile("hdfs://node01:8020/wordcount/output2")
------------------------------------------------------------------
#SparkContext web UI
http://node01:4040/jobs/

注意:
集群模式下程序是在集群上运行的，不要直接读取本地文件，应该读取hdfs上的
因为程序运行在集群上，具体在哪个节点上我们运行并不知道，其他节点可能并没有那个数据文件

Standalone-HA高可用模式

原理

Spark Standalone集群是Master-Slaves架构的集群模式，和大部分的Master-Slaves结构集群一样，存在着Master单点故障的问题。
如何解决这个单点故障的问题，Spark提供了两种方案：

  1. 基于文件系统的单点恢复(Single-Node Recovery with Local File System)–只能用于开发或测试环境。
  2. 基于zookeeper的Standby Masters(Standby Masters with ZooKeeper)–可以用于生产环境。
    在这里插入图片描述

配置HA

该HA方案使用起来很简单，首先启动一个ZooKeeper集群，然后在不同节点上启动Master，注意这些节点需要具有相同的zookeeper配置。

#先停止Sprak集群
/export/servers/spark/sbin/stop-all.sh
#在node01上配置：
vim /export/servers/spark/conf/spark-env.sh
#注释掉Master配置
#export SPARK_MASTER_HOST=node01
#在spark-env.sh添加SPARK_DAEMON_JAVA_OPTS，内容如下：
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER  -Dspark.deploy.zookeeper.url=node01:2181,node02:2181,node03:2181  -Dspark.deploy.zookeeper.dir=/spark"

参数说明 ：

  • spark.deploy.recoveryMode：恢复模式
  • spark.deploy.zookeeper.url：ZooKeeper的Server地址
  • spark.deploy.zookeeper.dir：保存集群元数据信息的文件、目录。包括Worker、Driver、Application信息。

Scp到其他节点

scp /export/servers/spark/conf/spark-env.sh node02:/export/servers/spark/conf/
scp /export/servers/spark/conf/spark-env.sh node03:/export/servers/spark/conf/

启动zk集群

zkServer.sh status
zkServer.sh stop
zkServer.sh start

启动Spark集群

#node01上启动Spark集群执行
/export/servers/spark/sbin/start-all.sh

#在node02上再单独只起个master:
/export/servers/spark/sbin/start-master.sh

#注意：
#在普通模式下启动spark集群
#只需要在主节点上执行start-all.sh 就可以了
#在高可用模式下启动spark集群
#先需要在任意一台主节点上执行start-all.sh
#然后在另外一台主节点上单独执行start-master.sh

#查看node01和node02
http://node01:8080/
http://node02:8080/
#可以观察到有一台状态为StandBy

测试HA

测试主备切换：

  1. 在node01上使用jps查看master进程id
  2. 使用kill -9 id号强制结束该进程
  3. 稍等片刻后刷新node02的web界面发现node02为Alive
    在这里插入图片描述
#测试集群模式提交任务：
1.集群模式启动spark-shell
/export/servers/spark/bin/spark-shell --master spark://node01:7077,node02:7077
2.运行程序
sc.textFile("hdfs://node01:8020/wordcount/input/words.txt")
.flatMap(_.split(" ")).map((_, 1)).reduceByKey(_ + _)
.saveAsTextFile("hdfs://node01:8020/wordcount/output3")

On Yarn集群模式

  • 官方文档
    http://spark.apache.org/docs/latest/running-on-yarn.html

准备工作

  1. 安装启动Hadoop(需要使用HDFS和YARN，已经ok)

  2. 安装单机版Spark(已经ok)
    注意：不需要集群，因为把Spark程序提交给YARN运行本质上是把字节码给YARN集群上的JVM运行，但是得有一个东西帮我去把任务提交上个YARN，所以需要一个单机版的Spark，里面的有spark-shell命令，spark-submit命令

#修改配置：
#在spark-env.sh ，添加HADOOP_CONF_DIR配置，指明了hadoop的配置文件的位置
vim /export/servers/spark/conf/spark-env.sh
export HADOOP_CONF_DIR=/export/servers/hadoop/etc/hadoop

cluster模式

  • 说明
    在企业生产环境中大部分都是cluster部署模式运行Spark应用
    Spark On YARN的Cluster模式 指的是Driver程序运行在YARN集群上
  • 补充Driver是什么:
    运行应用程序的main()函数并创建SparkContext的进程
    在这里插入图片描述
    ●运行示例程序
#spark-shell是一个简单的用来测试的交互式窗口
#spark-submit用来提交打成jar包的任务
/export/servers/spark-2.2.0-bin-2.6.0-cdh5.14.0/bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
--driver-memory 1g \
--executor-memory 1g \
--executor-cores 2 \
--queue default \
/export/servers/spark-2.2.0-bin-2.6.0-cdh5.14.0/examples/jars/spark-examples_2.11-2.2.0.jar \
  • 查看界面
    http://node01:8088/cluster
    在这里插入图片描述

Client模式[了解]

  • 说明
    学习测试时使用，开发不用，了解即可
    Spark On YARN的Client模式 指的是Driver程序运行在提交任务的客户端
    在这里插入图片描述
  • 运行示例程序
/export/servers/spark-2.2.0-bin-2.6.0-cdh5.14.0/bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode client \
--driver-memory 1g \
--executor-memory 1g \
--executor-cores 2 \
--queue default \
/export/servers/spark-2.2.0-bin-2.6.0-cdh5.14.0/examples/jars/spark-examples_2.11-2.2.0.jar \
10

两种模式的区别

Cluster和Client模式最本质的区别是：Driver程序运行在哪里！
运行在YARN集群中就是Cluster模式，
运行在客户端就是Client模式
当然还有由本质区别延伸出来的区别，面试的时候能简单说出几点就行

  • cluster模式：生产环境中使用该模式
    1.Driver程序在YARN集群中
    2.应用的运行结果不能在客户端显示
    3.该模式下Driver运行ApplicattionMaster这个进程中，如果出现问题，yarn会重启ApplicattionMaster(Driver)

  • client模式：
    1.Driver运行在Client上的SparkSubmit进程中
    2.应用程序运行结果会在客户端显示

Spark参数详解

spark-shell

spark-shell是Spark自带的交互式Shell程序，方便用户进行交互式编程，用户可以在该命令行下可以用scala编写spark程序，适合学习测试时使用！

  • 示例
    spark-shell可以携带参数
    spark-shell --master local[N] 数字N表示在本地模拟N个线程来运行当前任务
    spark-shell --master local[*] 表示使用当前机器上所有可用的资源
    默认不携带参数就是–master local[]
    spark-shell --master spark://node01:7077,node02:7077 表示运行在集群上

spark-submit

spark-submit命令用来提交jar包给spark集群/YARN
spark-shell交互式编程确实很方便我们进行学习测试，但是在实际中我们一般是使用IDEA开发Spark应用程序打成jar包交给Spark集群/YARN去执行。
spark-submit命令是我们开发时常用的!!!

#计算π：
/export/servers/spark/bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://node01:7077  \
--executor-memory 1g \
--total-executor-cores 2 \
/export/servers/spark/examples/jars/spark-examples_2.11-2.2.0.jar \
10

参数总结

在这里插入图片描述
其他参数示例：

  • master spark://node01:7077 指定 Master 的地址
  • name “appName” 指定程序运行的名称
  • class 程序的main方法所在的类
  • jars xx.jar 程序额外使用的 jar 包
  • driver-memory 512m Driver运行所需要的内存, 默认1g
  • executor-memory 2g 指定每个 executor 可用内存为 2g， 默认1g
  • executor-cores 1 指定每一个 executor 可用的核数
  • total-executor-cores 2 指定整个集群运行任务使用的 cup 核数为 2 个
  • queue default 指定任务的对列
  • deploy-mode 指定运行模式（client/cluster）
  • 注意：
    如果 worker 节点的内存不足，那么在启动 spark-submit的时候，就不能为 executor分配超出 worker 可用的内存容量。
    如果–executor-cores超过了每个 worker 可用的 cores，任务处于等待状态。
    如果–total-executor-cores即使超过可用的 cores，默认使用所有的。以后当集群其他的资源释放之后，就会被该程序所使用。
    如果内存或单个 executor 的 cores 不足，启动 spark-submit 就会报错，任务处于等待状态，不能正常执行。
weixin_43563705
关注
专栏目录
Spark之cache ,persist ,checkpoint ,广播变量及其案例 : 根据IP地址(浏览器访问日志获取) / 经度纬度定位地理位置案例(7)
桂林算啦粉的博客
10-01 1757
一 cache 二 persist 三 checkpoint 四 案例分析 根据IP地址查找到位置信息(省市)
Spark 2.0 机器学习 ML 库：常见的机器学习模型（Scala 版）
IT小村
08-15 1万+
一、前言 机器学习中，人为地设计算法，需要一定的知识积淀。 而使用别人设计好的机器学习库如 Spark 2.0 ML，那是基本不需要什么基础的，开箱即用。 首先，看一个简单、完整、规范的案例，无疑是最好的方式。 之前的文章（内含短小精悍的案例）： Spark 2.0 机器学习 ML 库：特征提取、转化、选取（Scala 版） Spark 2.0 机器学习 ML 库：机器学...
Spark简单测试案例
01-09
Spark自带案例、代码案例测试! 环境： Hadoop1.2集群和Spark1.0集群 3个节点的Ubuntu12.1系统机器
spark 案例集群测试整理
热门推荐
张伟的专栏
02-11 1万+
时间：20150210 工作过程：今天打算使用spark 自带的案例sparkpi 对集群进行测试，主要向了解集群启动过程及机器的负载情况。没想到问题还还真不少，感谢群友，特别是hali 支持。 主要的问题有3个： 1.测试spark 集群与local 运行方式使用的差别及集群测试时Ip 与机器访问的处理 2.spark  集群不能重启问题的处理 1。.测试spark 集群与loca
编写Spark测试用例
偷闲小苑
08-31 4615
使用scalaTest工具,用法参考: scalaTest的使用代码src/test/tool/LocalSparkContext.scalaimport org.apache.spark.{SparkConf, SparkContext} import org.scalatest._trait LocalSparkContext extends BeforeAndAfterAll { sel
spark测试
m0_67240604的博客
04-18 199
Spark WordCount实验。
基于Python语言的Spark数据处理分析案例集锦,基于7个数据集的数据分析+源码+文档说明
12-28
1、资源内容：基于Python语言的Spark数据处理分析案例集锦,基于7个数据集的数据分析+源代码+文档说明 2、代码特点：内含运行结果，不会运行可私信，参数化编程、参数可方便更改、代码编程思路清晰、注释明细，都经过...
基于Spark的Netflix Prize电影推荐系统（包括离线推荐与实时推荐）+数据集+算法文档pdf+源代码+文档说明
12-28
2、代码特点：内含运行结果，不会运行可私信，参数化编程、参数可方便更改、代码编程思路清晰、注释明细，都经过测试运行成功，功能ok的情况下才上传的。 3、适用对象：计算机，电子信息工程、数学等专业的大学生...
机器学习项目实战（内含单机/分布式/深度学习）部署
最新发布
05-01
以下将详细阐述这些知识点： 1. **单机机器学习项目部署**： 在单机环境中，数据量相对较小，计算资源有限。开发者通常会使用Python库如Scikit-Learn、Pandas、NumPy等进行数据预处理、模型训练和评估。部署时，...
spark集群测试小案例
ningyanggege的博客
01-22 1078
一、local模式： 测试自带计算的圆周率案例  之所以会报错，是因为从网上copy过来的文件名不对；所以才会报错，以及因此而导致的错误； 正确的如下：    二、独立的Spark集群模式；使用7077端口（使用ip地址，执行失效，使用主机名执行成功）；这种结果可以在8088端口看到信息    ...
spark安装测试
weixin_38610500的博客
03-05 684
spark安装测试spark安装测试spark-shell使用提交流程分析 spark安装测试 解压安装： 把安装包上传到/opt/soft下, 并解压到/opt/module/目录下 tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz -C /opt/module 然后复制刚刚解压得到的目录, 并命名为spark-local: cp -r spark-2.1.1-bin-hadoop2.7 spark-local 运行官方求PI
大数据 | Spark安装及性能测试
xyzhang的博客
12-08 1694
Spark On Yarn集群模式下的安装和基本测试
Spark的安装
Sawada00的博客
05-23 503
1.确保jdk版本在1.8以上 链接地址：https://pan.baidu.com/s/1fbYHEBKQlJ2tlmYpB3J0lg 提取码：ejdn oracle官网：http://www.oracle.com/ 2.安装jdk 通过xftp上传至linux 解压 $ tar zxvf ~/software/jdk-8u161-linux-x64.tar.gz -C /usr/java/ 打开profile文件 vi etc/profile export JAVA_HOME=/usr/jav
Linux系统安装
cug-jdc的博客
02-03 633
Linux系统安装方式  Linux系统的安装主要有两种方式：虚拟机安装和双系统安装,由于虚拟机安装和使用Linux的硬件配置比较高，建议电脑比较新或者配置内存4G以上的电脑可以选择虚拟机安装，电脑较旧或配置内存小于等于4G的电脑强烈建议选择双系统安装，否则，在配置较低的计算机上运行LInux虚拟机，系统运行速度会非常慢。 虚拟机安装 一、系统文件下载  本篇只讲解Ubuntu14.04系
Spark安装
learningcoder的专栏
07-23 696
下载的是spark-1.6.1-bin-hadoop2.6 1. 解压 tar -zxvf spark-1.6.1-bin-hadoop2.6.tgz -C apps/ 2. 修改配置文件   增加 export JAVA_HOME=/home/omc/apps/jdk1.7.0_45 export SPARK_MASTER_IP=192.168.0.131 export SPAR...
spark部署测试
Above the cloud
01-24 1502
spark的基本部署，包括了 1、下载并解压spark包，注意要和hadoop版本适配。 2、修改配置文件。 3、测试服务。 4、配置高可用spark。 5、测试高可用spark。 6、测试hadoop01的单点故障 等的操作
spark 安装详细步骤
qq_58476985的博客
10-11 2776
3、在目录/home/hadoop/software下解压：tar -zxvf spark-1.6.2-bin-hadoop2.6.tgz。4、进入conf目录,复制文件cp spark-env.sh.template spark-env.sh。6、cd 切换到sbin目录下使用 ./start-all.sh 命令。5、vim spark-env.sh 进入文件编辑 点击 i；7、cd 到bin目录 使用./saprk-shell。jps后看到worker和Master节点。
Scala与Spark 2.1.0的详细安装教程
本篇文章详细介绍了Spark安装过程，主要针对Scala和Spark 2.1.0版本在Hadoop环境下的配置。以下是文章中涉及的关键知识点： 1. Scala 2.10.4 安装： - 首先，从Scala官网下载scala-2.10.4.tgz安装包，并将其复制到...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

weixin_43563705

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值