Spark_01 spark的基本概念

最新推荐文章于 2024-06-28 08:47:21 发布
最新推荐文章于 2024-06-28 08:47:21 发布
阅读量902 收藏 25
点赞数 23
文章标签： spark 大数据 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a666b777/article/details/139998724
版权

说明：该章节讲述spark的理论概念和简单的操作，这部分我们只需要做到明确概念就行，把学习重心放在后面的方法掌握和应用。

Spark的基本概念

定义

大规模数据处理的统一分析引擎。

基于内存的分布式计算框架

RDD是一种分布式的内存抽象,RDD的内存运算给Spark带来了非常强大的计算性能

框架

Hadoop和Spark的区别

                                          Hadoop                                                         Spark

类型基础平台，包含计算，存储，调度纯计算式工具
场景海量数据批处理（磁盘迭代计算）海量数据的批处理、海量数据流的计算
价格对机器要求低对内存有要求
编辑范式Map+Reduce API较为底层，算法适用性差RDD组成DAG有向无环图。API较为顶层，方便使用
数据存储结构MapReduce中间计算结果在hdfs磁盘上，延迟大RDD中间运算结果在内存中，延迟小
运行方式Task以进程方式维护，任务启动慢Task以线程方式维护，任务启动快，可批量创建提高并行能力

四大特点

运行速度快：支持多种编程语言开发(Python/Scala/SQL), 使用成本低, 学习成本低

易用：计算速度快, 内存中计算比MapReduce快100倍, 磁盘中计算比MapReduce快10倍

通用：支持多种计算方式：RDD计算 SQL计算 图计算 机器学习计算 流计算   

           支持多种开发方式：交互式开发 -> 进入spark终端编写代码, 程序运行代码销毁

                                            脚本式开发 -> 永久存储程序代码                                   

兼容性强：支持多种三方工具  HDFS/Hive/Hbase/MySQL/Kafka/

                  调度工具   Yarn/Standalone/Mesos

                  高可用工具  Zookeeper

框架模块

SparkCore：spark的核心，是Spark运行的基础，以RDD为数据抽象，提供Python，java，Scala、R语言的API。可以编程进行海量离线数据批处理计算

SparkSQL:基于SparkCore提供结构化数据的处理模块。支持对sql语言进行处理，本身针对离线计算场景，提供StructuredStreaming模块，进行数据的流式计算

SparkStreaming：以SparkCore为基础，提供数据的流式计算功能

MLlib：以SparkCore为基础，内置了大量机器学习库和Api算法，方便用户以分布式计算的模式进行机器学习计算

GraphX：以SparkCore为基础，提供大量图计算API,方便用于分布式计算模式进行图计算

运行模式

本地模式（单机）：独立的进程，通过其内部的多个线程来模拟整个Spark的运行环境

Standalone模式（集群）：Spark中的每个角色以独立进程的形式存在，并组成Spark集群环境

Hadoop Yarn模式（集群）：各个角色运行在Yarn的容器内部，并组成Spark集群环境

Kubernetes模式（容器）：各个角色运行在Kubernetes的容器内部，并组成Spark集群环境

执行框架

计算步骤

1.将RDD计算任务交给yarn的RM管理

2.RM随机找一个NM创建container执行计算任务(application master)

3.application master和RM保持通讯请求计算资源, 找到其他的NM创建container

4.其他的NM中的container执行map和reduce阶段任务

5.map阶段从hdfs上读取数据进行分布式计算

6.reduce阶段将map阶段的计算结果合并后保存到hdfs上

部署模式

本地模式: 使用单台服务器的资源执行spark任务, 测试环境下使用

                 测试环境下使用, 本地模式执行成功的脚步都可以在集群模式执行成功

集群模式: 使用多台服务器的资源执行spark任务, 生产环境

spark on standalone

  • 使用spark自带的standalone资源调度工具管理spark集群

  • 一主多从架构(单点故障问题), 可以使用zookeeper搭建高可用模式(Spark HA)

  • master: 主节点, 控制整个集群

  • worker: 从节点, 负责控制计算节点

  • driver: 进程, 管理spark计算任务

  • executor: 进程, 执行spark计算任务

spark on yarn

  • 使用yarn资源调度工具管理spark集群

  • RM/NM/container

  • 方式

    • yarn cluster: 生产环境

    • yarn client: 测试环境, 交互模式, pycharm

spark on mesos

  • 使用mesos资源调度工具管理spark集群

  • spark是使用HDFS存储数据, 优先使用yarn管理spark集群(兼容性更好)

Spark开发方式

交互式开发

首先需要启动hadoop服务（如果没有配置映射，则切换至hadoop的安装路径启动，如果配置过映射，只需要在命令行start-all.sh即可）

启动后使用jps命令，当所展示的进程数如图所示就说明已经启动成功了

1.Scala交互式开发

输入指令spark-shell进入即可

退出的话： 输入quit或者ctrl+d即可

2.python交互式开发

配置相应环境后，输入指令pyspark进入即可

不同部署模式的Spark的使用操作

local本地模式

交互式
# 进入base虚拟环境
conda activate base
# 启动hadoop集群
start-all.sh
# 启动历史服务
/export/server/spark/sbin/start-history-server.sh 
# 启动spark本地模式 
# 没有任何指定，采用是local模式，调用的是本机资源无法使用集群资源，相当于是单机计算
pyspark
脚本式
# 导入模块
from pyspark import SparkContext

# 创建SparkContext对象
# 没有指定任何参数，使用本地local模式
sc = SparkContext()
# 创建python列表数据
a = [1, 2, 3, 4]
# 转换成RDD
rdd = sc.parallelize(a)
# 对rdd数据进行计算
res = rdd.reduce(lambda a, b: a + b)

print(res)

Standalone模式

standalone是spark自带的资源调度管理服务，master 类似 yarn中的ResourceManger 负责管理资源服务，worker 类似 yarn中的NodeManager 负责将每台机器上的资源给到计算任务。

交互式
# 因为配置了高可用模式, 三台虚拟机要先启动ZooKeeper服务
zkServer.sh start
# 在node1虚拟机上启动standalone服务
/export/server/spark/sbin/start-all.sh
# 启动pyspark, 使用standalone资源调度
(base) [root@node1 ~]# pyspark --master spark://node1:7077
脚本式
# 导入模块
from pyspark import SparkContext


# 创建SparkContext对象
# master参数可以指定调用的资源服务
# 使用standalone资源调度
sc = SparkContext(master='spark://node1:7077')
# 创建python列表数据
a = [1, 2, 3, 4]
# 转换成RDD
rdd = sc.parallelize(a)
# 对rdd数据进行计算
res = rdd.reduce(lambda a, b: a + b)

print(res)

Standalone 高可用集群模式

交互式
# 因为配置了高可用模式, 三台虚拟机要先启动ZooKeeper服务

zkServer.sh start

# 在node1虚拟机上启动standalone服务
(base) [root@node1 ~]# /export/server/spark/sbin/start-all.sh

# 在node2虚拟机上启动standalone服务
(base) [root@node2 ~]# /export/server/spark/sbin/start-master.sh

# 启动pyspark, 使用standalone高可用资源调度
(base) [root@node1 ~]# pyspark --master spark://node1:7077,node2:7077
脚本式
# 导入模块
from pyspark import SparkContext


# 创建SparkContext对象
# master参数可以指定调用的资源服务
# 使用standalone高可用资源调度
sc = SparkContext(master='spark://node1:7077,node2:7077')
# 创建python列表数据
a = [1, 2, 3, 4]
# 转换成RDD
rdd = sc.parallelize(a)
# 对rdd数据进行计算
res = rdd.reduce(lambda a, b: a + b)

print(res)

Yarn集群模式

交互式
# 启动yarn集群服务
(base) [root@node1 ~]# start-all.sh

# 启动pyspark, yarn资源调度
(base) [root@node1 ~]# pyspark --master yarn
脚本式
# 导入模块
from pyspark import SparkContext


# 创建SparkContext对象
# master参数可以指定调用的资源服务
# 使用yarn资源调度
sc = SparkContext(master='yarn')
# 创建python列表数据
a = [1, 2, 3, 4]
# 转换成RDD
rdd = sc.parallelize(a)
# 对rdd数据进行计算
res = rdd.reduce(lambda a, b: a + b)

print(res)

Spark指令参数

概念：指令：在linux终端输入的spark命令，类似于Linux shell指令

参数：指令后可以携带各种参数，可以对指令增加一些设置 例如：--master 运行模式

参数在交互式开发模式下都生效，在脚本式模式下一般参数不会生效

# 表示引用运行的模式，要么是本地local要么是集群（Standalone、YARN、Mesos）了
--master MASTER_URL
# 本地模式∶local[2]  数字表示可以使用到本地的cpu核心数,  loacl[*]  *表示自动判断
# Standalone集群∶spark∶//xxx∶7077，yyy∶7077 
# YARN 集群∶ yarn 

# 表示的是应用运行的名称，通常在应用开发的时候指定
--name NAME 

# 表示应用运行时指定的某些参数配置，http∶//spark.apache.org/docs/2.2.0/configuration.html
# 当value中的值有空格组成的时候，使用双引号将key=value引起来
# 可以不用在bashrc写配置可以通过conf配置，每次运行都要指定很麻烦
--conf "PROP=VALUE"
# 第一种方式∶属性的值中没有空格
--conf spark.eventLog.enabled=false
# 第二种方式∶属性的值中有空格，将属性和值统一使用双引号引起来
--conf "spark.executor.extraJavaOptions=-XX:+PrintGCDetails -XX:+PrintGCTimestamps"


# Driver相关配置  对driver一般不用配置
# 指定Driver Program JVM进程内存大小，默认值为1g
--driver-memory MEM

# 表示Driver 运行CLASS PATH路径，使用不多
--driver-class-path

# Spark standalone with cluster deploy mode∶运行在standalone 中cluster Deploy Mode 默认值为1  cpu核心数量
# 运行在YARN in cluster mode，默认值是1 
--driver-cores NUM 

# 运行在standalone的 中cluster Deploy Mode下，表示当Driver运行异常失败，可以自己重启
--supervise 


# Executor运行所需内存大小
--executor-memory MEM 

# Executor 运行的CPU Cores，默认的情况下，在Standalone集群上为worker节点所有可用的Cpu Cores，在YARN集群下为1 
--executor-cores NUM

# 表示运行在Standalone集群下，所有Executor的CPU Cores，结合--executor-cores计算出Executor个数
--total-executor-cores

# 表示在YARN集群下，Executor的个数，默认值为2
--num-executors


# 表示Driver Program运行的地方，也叫做应用部署模式，默认值为client，通常在生产环境中使用cluster
--deploy-mode DEPLOY_MODE

spark指令使用参数举例

# 指定的参数中，主要是资源调度模式, 应用程序名称, python解析器配置

pyspark --master yarn --name yarn_demo --conf "PYSPARK_PYTHON=/export/server/anaconda3/bin/python3"

spark脚本使用参数举例

# 导入模块
from pyspark import SparkContext


# 创建SparkContext对象
# 参数master: 指定应用运行的模式
# 参数appName: 指定应用运行的名称
sc = SparkContext(master='yarn', appName='yarn_demo')
# 创建python列表数据
a = [1, 2, 3, 4]
# 转换成RDD
rdd = sc.parallelize(a)
# 对rdd数据进行计算
res = rdd.reduce(lambda a, b: a + b)

print(res)

Spark-submit提交方式

注：必须在yarn集群模式下提交

spark-submit指令语法

spark-submit --参数名 参数值 Python文件

格式：

cluster模式提交
spark-submit --master yarn --name cluster_demo --deploy-mode cluster b.py
client模式提交
spark-submit --master yarn --name client_demo --deploy-mode client b.py

快打钱！
关注
  • 23
    点赞
  • 踩
  • 25
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Spark基本概念
feizuiku0116的博客
11-23 346
Application：指的是用户编写的Spark应用程序/代码，包含了Driver功能代码和分布在集群中多个节点上运行的Executor代码 Driver：Spark中的Driver即运行行数Application的Main()函数并且创建SparkContext，SparkContext负责和ClusterManager通信，进行资源的申请、任务的分配和监控等； Cluster Manager：指的是在集群上获取资源的外部服务，Standalone模式下由Master负责，Yarn模式下Resourc.
Spark中的基本概念
Tate的博客
10-15 1588
Spark中的基本概念1、基本概念1.1 RDD：弹性分布式数据集1.2 DAG：有向无环图1.3 Partition：数据分区1.4 NarrowDependency: 窄依赖1.5 ShuffleDependency: 宽依赖2、Spark基本组件2.1 Application2.2 Driver2.3 Executor2.4 Worker2.5 Job2.6 Stage2.7 Task2.8 DAGScheduler2.9 TaskScheduler2.10 总结 1、基本概念 1.1 RDD：弹性分
Spark Streaming基本概念
晓晓的天空
03-20 1634
Spark Streaming基本概念
Spark的基本概念与架构
晓晓的天空
03-10 2428
Spark的基本概念与架构
day01_spark核心概念.pdf
06-01
《Spark核心概念详解》 Spark，作为大数据处理领域的重要工具，以其高效、通用和可扩展的特性备受青睐。本文将深入解析Spark的核心概念，包括其历史背景、主要模块、运行模式，以及如何在IDEA中编写Spark程序。 一...
own_Spark-day01.docx
08-28
1. **优秀的数据模型和计算抽象**：Spark引入了弹性分布式数据集(RDD)的概念，这是一种可以高效缓存和并行处理的数据结构，允许数据在计算过程中被多次重用，显著提升了计算效率。此外，Spark还提供了DataFrame和...
spark_code_basic
03-13
本资料“spark_code_basic”主要涵盖了Spark的基础学习和小项目实践，旨在帮助初学者快速掌握Spark的核心概念和技术。 1. **Spark核心概念** Spark的核心是弹性分布式数据集（Resilient Distributed Datasets，...
Spark_for_Data_Science
10-07
Spark_for_Data_Science，针对spark的原理，对spark的基础架构、基本概念进行详细介绍，同时重点介绍spark在数据科学中的用法。
spark_2_8_3 windows版
02-26
通过这个版本，你可以学习到Spark的基本用法，以及如何在非Hadoop环境中运行Spark作业。随着对Spark的理解深入，你还可以进一步研究如何将Spark部署在更复杂的分布式环境中，如standalone模式、YARN或Kubernetes，以...
pyspark
zhixingheyi_tian的博客
06-26 249
Spark
Spark2.0
m0_74957207的博客
06-27 665
比如数据节点当前正被其他的任务占用，那么在这种情况下是否需要将数据移动到其他的空闲节点上？性，指的是尽量计算移动到数据所在的节点，即“计算向数据靠拢”，因为移动计算比移动数据比所占的网络资源要少的多。（弹性分布式数据集）的简称，是分布式内存的一个抽象概念，存储模块，会将内存和磁盘共同作为存储设备，有效减少。一是利用多线程来执行具体的任务，减少任务的启动。）首先为应用构建起基本的运行环境，即由。，进行资源的申请、任务的分配和监控。，运行结束后，执行结果会返回给。（有向无环图）的简称，反映。
Spark学习3.0
最新发布
m0_74957207的博客
06-28 1145
，避免了多次转换操作之间数据同步的等待，而且不用担心有过多的中间数据，因为这些具有血缘关系的操作都管道化了，一个操作得到的结果不需要保存为中间数据，而是直接管道式地流入到下一个操作进行处理。RDD就是为了满足这种需求而出现的，它提供了一个抽象的数据架构，我们不必担心底层数据的分布式特性，只需将具体的应用逻辑表达为一系列转换处理，不同。同时，这种通过血缘关系把一系列操作进行管道化连接的设计方式，也使得管道中每次操作的计算变得相对简单，保证了每个操作在处理逻辑上的单一性；
第三阶段Spark
Nevadas的博客
06-24 259
【代码】第三阶段。
Spark
m0_74957207的博客
06-27 1448
提供了常用机器学习算法的实现，包括聚类、分类、回归、协同过滤等，降低了机器学习的门槛，开发人员只要具备一定的理论知识就能进行机器学习的工作；将数据载入内存后，之后的迭代计算都可以直接使用内存中的中间结果作运算，避免了从磁盘中频繁读取。年开发，是基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析。性能良好，拥有丰富的功能和运算符，能在海量数据上自如地运行复杂的图算法。的设计遵循“一个软件栈满足不同应用场景”的理念，逐渐形成了一套完整的。可以使用廉价的、异构的机器做分布式存储与计算，但是。
数据中台高频面试题及参考答案（持续更新）
linweidong的专栏
06-27 516
数据脱敏，又称为数据屏蔽或数据混淆，是一种信息安全技术，旨在保护敏感信息和隐私数据免受未经授权的访问或泄露。它通过在保留数据格式和结构的同时，对原始数据中的敏感部分进行有策略的修改或替换，生成一个看似真实但不含实际敏感细节的数据副本。这样处理后的数据可以在非生产环境，如开发、测试、分析或培训等场景中安全使用，既保证了数据的可用性，又维护了数据主体的隐私安全。数据脱敏的方法多样，包括替换、掩码、哈希、随机化、扰码等，可根据不同数据类型的特性和安全要求选择合适的脱敏策略。
大数据智能风控：模型、平台与业务实践
Why_does_it_work的博客
06-24 6156
商业银行作为金融中介机构，经营的本质是对风险的运营和管理。金融科技的高速发展和国家政策的扶持，驱动商业银行向数字化、信息化、智能化的更高阶段发展。在此背景下，商业银行更应抓住数字化转型机遇，建立覆盖风险识别、计量、分析、处置全流程的智能风控体系，全面提升银行风险防控能力。传统的风控体系中定性风险管理占主体，以主观规则及客户评级为主，存在数据获取维度窄、定量分析能力偏弱、难以精确化用户特征等缺点。在数字化转型的背景下，传统的风险管控模式在风险管控时效性、模型有效性、监控范围等多个方面的短板日益凸显。
微服务和kafka
m0_51586984的博客
06-26 1144
ZooKeeper 是一个开源的分布式协调服务，ZooKeeper框架最初是在“Yahoo!"上构建的，用于以简单而稳健的方式访问他们的应用程序。后来，Apache ZooKeeper成为Hadoop，HBase和其他分布式框架使用的有组织服务的标准。例如，Apache HBase使用ZooKeeper跟踪分布式数据的状态。ZooKeeper 的设计目标是将那些复杂且容易出错的分布式一致性服务封装起来，构成一个高效可靠的原语集，并以一系列简单易用的接口提供给用户使用。
Kafka入门到精通(二)-安装Zookeeper
weixin_52466601的博客
06-27 903
Zookeeper是一个开源的分布式协调服务，由Apache维护，旨在为分布式系统提供一致性、可靠性和高效的数据管理。它通过提供一系列简单易用的接口，封装了复杂且易出错的分布式一致性服务，构成了一个高效可靠的原语集。Zookeeper的设计目标包括提供高性能、高可用且具有严格顺序访问控制能力的分布式协调服务。顺序一致性：确保从一个客户端发起的事务请求最终会严格按照其发起顺序被应用到Zookeeper中。原子性。
spark基本概念——spark core
03-16
Spark Core是Apache Spark的核心组件，它提供了分布式任务调度、内存计算和数据存储等基本功能。Spark Core的主要特点是支持内存计算，可以在内存中快速处理大规模数据，并且可以与Hadoop、Hive、HBase等其他大数据技术无缝集成。Spark Core还提供了丰富的API，包括Scala、Java、Python和R等多种编程语言的支持，方便开发人员进行数据处理和分析。Spark Core是Spark生态系统中最基础、最核心的组件，也是其他Spark组件的基础。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值