Spark基础知识

最新推荐文章于 2021-05-25 14:13:56 发布
最新推荐文章于 2021-05-25 14:13:56 发布
阅读量191 收藏
点赞数 1
分类专栏： 大数据 spark 文章标签： 大数据 spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Yubingx/article/details/109656736
版权

Spark基础知识

一、Spark概叙

  1. spark是一个基于内存计算并且快速、通用、可扩展的集群计算引擎
  2. spark目前是Apache最活跃的开源项目

二、Spark特点

  1. 快速性：基于内存计算，比MapReduce快一百倍
  2. 通用性：提供了大量的类库, 包括 SQL 和 DataFrames, 机器学习(MLlib), 图计算(GraphicX), 实时流处理(Spark Streaming)，可以把这些类库无缝的柔和在一个 App 中；它还结合了SQL, Streaming和复杂分析
  3. 易用性：支持 Scala, Java, Python, R 和 SQL 脚本, 并提供了超过 80 种高性能的算法, 非常容易创建并行 App
  4. 可融合：可以非常方便的与其他开源产品进行融合，比如yarn，还有Hbase和HDFS

三、Spark内置模块介绍（组件）

  1. 集群管理器（Cluster Manager）：主要有三种，standalone（spark自带）、yarn（国内开发中使用）、mesos（国外使用较多）
  2. Spark Core：用于离线计算，最基本的模块
  3. Spark Sql：用于离线计算，和Sql结合使用
  4. Spark Streaming：用于实时计算
  5. Spark MLlib：用于机器学习
  6. Spark GraghX：用于图计算

四、Spark的核心概念

  1. Master（针对于standalone模式）：管理worker，管理application。在yarn模式里面是RescourceManager

  2. Worker（针对于standalone模式）：发送心跳给master，管理自身节点的资源，真正执行程序的节点。在yarn模式里面是NodeManager

  3. Executor（针对于standalone模式）：worker节点上真正执行程序的进程。在yarn模式里面是ApplicationMaster启动executor

  4. Driver program：驱动程序，负责程序的分发，资源管理器的注册。spark-shell就是一个典型的driver program

  5. Job（一个作业或者说一个程序）：划分为多个stage

  6. Stage（阶段）：小的task的集合

  7. task（任务）：计算单元

  8. 有 client 和 cluster 两种模式，主要区别在于：Driver 程序的运行节点不同

    1. client：Driver程序运行在客户端，驱动不在集群内，适用于交互、调试，希望立即看到app的输出
    2. cluster：Driver程序运行在由 RM（ResourceManager）启动的 AM（ApplicationMaster）上,驱动在集群内， 适用于生产环境

五、Spark运行模式

  1. local（本地模式）

    1. 安装解压安装包后就可使用

    2. 运行官方求PI的案例

      bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master local[2] \
./examples/jars/spark-examples_2.11-2.1.1.jar 100
//注意：如果你的shell是使用的zsh, 则需要把local[2]加上引号:'local[2]'

    3. local[*]：这个里面的星符号表示该程序设置几个cpu来执行，或者说几个线程

  2. standalone（spark自带的集群模式）

    1. 构建一个由 Master + Slave 构成的 Spark 集群，Spark 运行在集群中

    2. standalone运行模式介绍

      1. 客户端注册给master
      2. master申请资源，然后告诉worker启动ExecutorBackend
      3. worker会随时报告Executor的状态
      4. worker会向客户端反向注册
      5. 客户端会给worker分配task
      6. worker会报告给task的状态给客户端，直到结束

    3. 进入配置文件目录conf, 配置spark-evn.sh

      SPARK_MASTER_HOST=hadoop101
SPARK_MASTER_PORT=7077 # 默认端口就是7077, 可以省略不配

    4. 修改 slaves 文件, 添加 worker 节点

      hadoop101
hadoop102
hadoop103

    5. 分发spark-standalone

    6. 启动 Spark 集群

      sbin/start-all.sh

    7. 如果启动的时候报JAVA_HOME is not set, 则在sbin/spark-config.sh中添加入JAVA_HOME变量即可，不要忘记分发修改的文件

    8. 在网页中查看 Spark 集群情况（http://hadoop101:8080）

    9. 使用 Standalone 模式运行计算 PI 的程序

      bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop101:7077 \
--executor-memory 1G \
--total-executor-cores 6 \
--executor-cores 2 \
./examples/jars/spark-examples_2.11-2.1.1.jar 100

    10. 在 Standalone 模式下启动 Spark-shell

      bin/spark-shell --master spark://hadoop101:7077

    11. 配置 Spark 任务历史服务器（为 Standalone 模式配置）

      1. 配置spark-default.conf文件, 开启 Log

        spark.eventLog.enabled           true
spark.eventLog.dir               hdfs://hadoop101:9000/spark-job-log

      2. 修改spark-env.sh文件，添加如下配置

        export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=30 -Dspark.history.fs.logDirectory=hdfs://hadoop101:9000/spark-job-log"

      3. 分发配置文件

      4. 启动历史服务（先启动 HDFS，然后再启动spark的历史服务器）

        sbin/start-history-server.sh

      5. 启动任务, 查看历史服务器（http://hadoop101:18080）

    12. HA 配置(仅为standalone模式下为 Master 配置)

      1. 给 spark-env.sh 添加如下配置

        # 注释掉如下内容：
#SPARK_MASTER_HOST=hadoop101
#SPARK_MASTER_PORT=7077
# 添加上如下内容：
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hadoop101:2181,hadoop102:2181,hadoop103:2181 -Dspark.deploy.zookeeper.dir=/spark"

      2. 分发配置文件

      3. 启动 Zookeeper

      4. 在 hadoop101 启动全部节点

        sbin/start-all.sh

      5. 在 hadoop102 启动一个 master

        sbin/start-master.sh

      6. 杀死 hadoop101 的 master 进程，hadoop102 的 master 会自动切换成 Active

      7. 可在网页上查看（8080端口）

  3. yarn（借助hadoop的yarn做集群资源管理器，国内使用）（重点）

    1. Spark 客户端可以直接连接 Yarn，不需要额外构建Spark集群

    2. yarn的运行模式介绍

      1. 客户端会向ResourceManager（RM）提交App程序任务
      2. RM会选择一个NM启动AM，AM会初始化Driver（即初始化sc）
      3. AM启动Executor，并分配Task
      4. AM会随时报告App运行的状态，直到运行结束
      5. AM最后会向RM注销自己

    3. 修改 hadoop 配置文件 yarn-site.xml, 添加如下内容

      <!--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
<property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
</property>
<!--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>

    4. 分发配置文件

    5. 解压安装包, 并命名为spark-yarn

    6. 修改spark-env.sh文件

      #yarn的配置文件位置
YARN_CONF_DIR=/opt/module/hadoop/etc/hadoop
#配置历史服务器
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=30 -Dspark.history.fs.logDirectory=hdfs://hadoop101:9000/spark-job-log"

    7. 配置spark-default.conf文件

      #开启Log
spark.eventLog.enabled           true
#配置log存储位置
spark.eventLog.dir               hdfs://hadoop101:9000/spark-job-log
#配置历史日志服务器
spark.yarn.historyServer.address=hadoop101:18080
spark.history.ui.port=18080

    8. 执行样例

      bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode client \
./examples/jars/spark-examples_2.11-2.1.1.jar 100

    9. 如果在 yarn 日志端无法查看到具体的日志, 则在yarn-site.xml中添加如下配置

      <property>
    <name>yarn.log.server.url</name>
    <value>http://hadoop101:19888/jobhistory/logs</value>
</property>

  4. 几种运行模式的对比

    模式Spark安装机器数需启动的进程所属者
    Local1无Spark
    Standalone多台Master及WorkerSpark
    Yarn（实际开发中使用）1Yarn及HDFSHadoop

六、Spark中的常见端口

  1. spark协议端口：7077
  2. spark程序运行过程信息的端口：4040
  3. spark启动后观察集群情况的端口（standalone模式）：8080
  4. spark历史服务器端口：18080
  5. spark的yarn模式的可视化端口（yarn模式）：8088

七、Spark-submit发布应用程序的语法

  1. 样例：

    ./bin/spark-submit \
--class <main-class> \
--master <master-url> \
--deploy-mode <deploy-mode> \
--conf <key>=<value> \
... # other options
<application-jar> \
[application-arguments]

  2. –class 你的应用的启动类 (如 org.apache.spark.examples.SparkPi)

  3. –master 指定 master 的地址，默认为local. 表示在本机运行

  4. –deploy-mode是否发布你的驱动到 worker节点(cluster 模式) 或者作为一个本地客户端 (client 模式) (default: client)

  5. –conf是任意的 Spark 配置属性， 格式key=value. 如果值包含空格，可以加引号**“key=value”**

  6. application-jar 是打包好的应用 jar,包含依赖. 这个 URL 在集群中全局可见。 比如hdfs:// 共享存储系统， 如果是 file:// path， 那么所有的节点的path都包含同样的jar

  7. application-arguments 是指传给**main()**方法的参数

  8. –executor-memory 1G 指定每个executor可用内存为1G

  9. –total-executor-cores 6 指定所有executor使用的cpu核数为6个

  10. –executor-cores 表示每个executor使用的 cpu 的核数

YuBx
关注
专栏目录
Hadoop-Spark几个重要的端口汇总
someInNeed的博客
06-30 1959
50070：HDFSwebUI的端口号 8485:journalnode默认的端口号 9000：非高可用访问数rpc端口 8020：高可用访问数据rpc 8088：yarn的webUI的端口号 8080：master的webUI，Tomcat的端口号 7077：spark基于standalone的提交任务的端口号 8081：worker的webUI的端口号 18080：histor...
Spark基础知识梳理
Sheenky的博客
08-13 1730
spark解决的问题：海量数据的计算，可以进行离线批处理以及实时流计算spark模块：sparkcore、SQL、流计算（SparkStreaming）、图计算（Graphx）、机器学习（MLib）spark特点：速度快、使用简单、通用性强、多模式运行spark运行模式本地模式集群模式云模式spark的运行角色MASTER：集群资源管理者（类同ResourceManager)worker：单机资源管理者（类同NodeManager)......
Spark-Yarn模式|配置历史服务|运行流程|端口号总结
SmallScorpion
04-16 1983
解压改名 tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz -C /opt/module/ mv spark-2.1.1-bin-hadoop2.7/ spark-yarn 修改hadoop配置文件/opt/module/hadoop-2.7.2/etc/hadoop/yarn-site.xml <!--是否启动一个线程检查每个任务正使用的物理内存量，如果任...
Spark部分：几个重要的端口汇总
热门推荐
wyqwilliam的博客
08-12 1万+
50070：HDFSwebUI的端口号 8485:journalnode默认的端口号 9000：非高可用访问数rpc端口 8020：高可用访问数据rpc 8088：yarn的webUI的端口号 8080：master的webUI，Tomcat的端口号 7077：spark基于standalone的提交任务的端口号 8081：worker的webUI的端口号 18080：histor...
spark yarn 提交_Spark 使用 yarn 和 主节点提交
weixin_31618799的博客
01-13 145
1. 使用yarn 提交 , 在 自己定义的yarn 日志服务器上面能看到任务记录 .spark-submit --master yarn --class com.Spark_HDFS ./SXC-1.0-SNAPSHOT.jar2.使用 Spark的 自己的端口提交spark-submit --master spark://node1:7077 --class com.Spark_HDFS ....
Yarn简单分布式集群搭建
Mekeater的博客
06-26 2234
Yarn简单分布式集群搭建 前言 上篇文章介绍了如何搭建简单分布式的HDFS集群，那么HDFS说到底仅仅是一个文件系统，Hadoop另一个核心模块MapReduce（计算框架或编程模型）就是对HDFS中存储的数据进行计算，既然要进行运算就必须要有CPU和内存，那么对于MapReduce的计算如何给它分配CPU和内存呢？这就需要一个统一资源调度器来对来对hadoop集群中的资源进行统一调度。因此Hadoop中由引入了Yarn，来完成资源调度任务。 一、MapReduce工作原理 MapReduce是一个计算框
spark基础知识
08-11
在本资料包中，我们将围绕"Spark基础知识"进行探讨，包括Spark的架构、RDD概念、Spark SQL以及Spark与Scala、Hadoop的关联。 首先，Spark的架构基于“计算向数据移动”的理念，它由Driver、Executor和Cluster ...
spark基础知识整理
01-02
spark基础知识思维导图整理，包括SparkCore和SparkSQL
Spark-Fundamentals:Spark基础知识I-Spark简介
04-03
**Spark基础知识I-Spark简介** Spark，作为大数据处理领域中的明星框架，因其高效、易用和灵活的特点，已经成为许多企业和开发者进行大规模数据处理的首选工具。Spark的核心设计理念是提供一个统一的平台，支持多种...
大数据常见端口汇总-hadoop、hbase、hive、spark、kafka、zookeeper等（持续更新）
u010476994的博客
11-30 1万+
常见端口汇总： Hadoop：         50070：HDFS WEB UI端口     8020 ： 高可用的HDFS RPC端口     9000 ： 非高可用的HDFS RPC端口     8088 ： Yarn 的WEB UI 接口     8485 ： JournalNode 的RPC端口     8019 ： ZKFC端口 Zookeeper:     2181
spark集群启动命令和Web端口查看
a166244的博客
08-02 1431
itcast01上： 启动hadoop集群： cd /itcast/hadoop-2.6.0/sbin/ ./start-dfs.sh 启动yarn： ./start-yarn.sh itcast02上： 启动resourcemanager /itcast/hadoop-2.6.0/sbin/yarn-daemon.sh start reso...
Spark on YARN两种运行模式介绍
Thinking
12-01 9588
文章来源：http://www.aboutyun.com/thread-12294-1-1.html 问题导读 1.Spark在YARN中有几种模式？ 2.Yarn Cluster模式，Driver程序在YARN中运行，应用的运行结果在什么地方可以查看？ 3.由client向ResourceManager提交请求，并上传jar到HDFS上包含
hadoop 常用端口记录
qq_22478923的博客
02-20 8142
端口 用途 9000 fs.defaultFS，如：hdfs://172.25.40.171:9000 9001 dfs.namenode.rpc-address，DataNode会连接这个端口 50070 dfs.namenode.http-address 50470 dfs.namenode.https-ad
Hadoop（HDFS、YARN、HBase、Hive和Spark等）默认端口表
weixin_34068198的博客
04-29 340
端口 作用 9000 fs.defaultFS，如：hdfs://172.25.40.171:9000 9001 dfs.namenode.rpc-address，DataNode会连接这个端口 50070 dfs.namenode.http-address 50470 dfs.namenode.https-address 50100 ...
spark 几个端口
seaReal1的博客
04-25 7800
4040：每个Driver的SparkContext都会启动一个web节目，默认端口是404018080: 启动历史服务器： ./sbin/start-history-server.sh ， 日志跟目录必须在spark.history.fs.logDirectory中配置，每个子目录对应一个Spark程序的事件日志。历史服务会启动web节目，默认端口 18080...
Spark常用命令及端口
qq_18629653的博客
10-14 718
Spark 启动Spark sbin/start-all.sh 停止Spark sbin/stop-all.sh 单独启动: sbin/start-master.sh sbin/start-slaves.sh 所有slave sbin/start-slave.sh 单台slave 启动spark-shell /opt/module/spark/bin/spark-shell –master spark://hadoop101:7077 启动spark–shell使用外部hive(如果spark/jars目
spark on yarn图形化任务监控利器：History-server帮你理解spark的任务执行过程
oufuji的博客
12-21 1万+
在spark on yarn任务进行时，大家都指导用4040端口监控（默认是，设置其他或者多个任务同时会递增等例外）; 辣么，任务结束了，还要看图形化界面，那就要开history-server了。CDH安装spark on yarn的时候，就自动安装了history的实例。 现在不用CDH自带的spark（版本太久了），自己安装spark新版，所以还得具体配置。 搜了一下帖子，2个步骤：
修改yarn默认端口
Student_xx的博客
12-03 1万+
1.改yarn默认端口的原因 为什么要修改yarn默认的端口的愿意是因为想yarn、redis这种8088和6379端口是近年来挖矿病毒的热门踩点端口，具体的可参考这篇文章： https://segmentfault.com/a/1190000015264170 2.修改端口 1）在~/app/hadoop/etc/hadoop/yarn-site.xml 文件中增加以下配置： 图上为什么配置的是这个参数呢？ 参数在官网https://hadoop.apache.org/docs/r2.10.1/hado
在cenos7中spark集群搭建
yxh20020330的博客
05-25 83
前置条件 hadoop安装 jdk安装 安装位置放在/opt/soft中 1.将spark-2.4.7-bin-hadoop2.7.tgz通过xFTP上传 tar -zxvf /opt/soft/spark-2.4.7-bin-hadoop2.7.tgz -C /opt/soft 2.进入/opt/soft cd /opt/soft 3.解压 tar -zxvf spark-2.4.7-bin-hadoop2.7.tgz 4.删除 spark-2.4.7-bin-hadoop2.7..
全面解析Spark：从基础知识到实战技巧
资源摘要信息:"Spark从入门到上手实战是一套系统的视频教程，旨在帮助学习者从基础开始逐步掌握Apache Spark的使用，并最终能够熟练地进行实战应用。该教程内容全面，包括但不限于Spark的基本操作、高级功能以及最佳...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值