7 Spark开荒_架构原理

最新推荐文章于 2024-01-18 02:06:19 发布
最新推荐文章于 2024-01-18 02:06:19 发布
阅读量236 收藏
点赞数 1
分类专栏： # 爬梯
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39381833/article/details/108296644
版权

文章目录

开荒

1.1 Spark定义

在这里插入图片描述

在这里插入图片描述
Spark : 基于内存的快速、 通用、可扩展的大数据分析计算引擎。

1.2 Spark and Hadoop

准确的说，这里的Hadoop指的是MR

1.2.1 时间线
2006年1月，Doug Cutting加入Yahoo，领导Hadoop的开发
	2008年1月，Hadoop成为Apache顶级项目
		2009年，Spark诞生于伯克利大学的AMPLab实验室
		2010年，伯克利大学正式开源了Spark项目
	2011年，Hadoop 1.0正式发布
	2012年3月，Hadoop稳定版发布
		2013年6月，Spark成为了Apache基金会下的项目
	2013年10月发布 Hadoop2.X (Yarn)版本
		2014年2月，Spark以飞快的速度成为了Apache的顶级项目
		2015年至今，Spark变得愈发火爆，大量的国内公司开始重点部署或者使用Spark
1.2.2 功能区别
	Hadoop
		Hadoop是由java语言编写的，在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架
		作为Hadoop分布式文件系统，HDFS处于Hadoop生态圈的最下层，存储着所有的数据，支持着Hadoop的所有服务。它的理论基础源于Google的TheGoogleFileSystem这篇论文，它是GFS的开源实现。
		MapReduce是一种编程模型，Hadoop根据Google的MapReduce论文将其实现，作为Hadoop的分布式计算模型，是Hadoop的核心。基于这个框架，分布式并行程序的编写变得异常简单。综合了HDFS的分布式存储和MapReduce的分布式计算，Hadoop在处理海量数据时，性能横向扩展变得非常容易。
		HBase是对Google的Bigtable的开源实现，但又和Bigtable存在许多不同之处。HBase是一个基于HDFS的分布式数据库，擅长实时地随机读/写超大规模数据集。它也是Hadoop非常重要的组件。
	Spark
		Spark是一种由Scala语言开发的快速、通用、可扩展的大数据分析引擎
		Spark Core中提供了Spark最基础与最核心的功能
		Spark SQL是Spark用来操作结构化数据的组件。通过Spark SQL，用户可以使用SQL或者Apache Hive版本的SQL方言（HQL）来查询数据。
		Spark Streaming是Spark平台上针对实时数据进行流式计算的组件，提供了丰富的处理数据流的API。

1.3 Spark核心模块

在这里插入图片描述

  1. Spark Core
    SparkCore提供了最基础 最核心的功能
    Spark其他功能 ：SQL、Streaming、GraphX、MLlib都是在 SparkCore的基础上进行扩展的

  2. Spark SQL
    Spark SQL是Spark用来操作结构化数据的组件
    通过Spark SQL 可以使用SQL or Hive SQL 来进行查询

  3. Spark Streaming
    Spark针对实时数据进行流计算的组件，提供了丰富的处理数据流的API

  4. Saprk MLlib
    MLlib是Spark提供的一个机器学习算法库。
    不仅提供了模型评估、数据导入，
    还提供了一些更底层的机器学习原语。

  5. Spark GraphX
    GraphX 是 Spark面向图计算的框架与算法库。

1.4 Spark的运行环境

在这里插入图片描述

1.4.1 Local模式

Local模式，就是不需要其他任何节点资源就可以在本地执行Spark代码的环境

修改spark-local/conf/spark-env.sh文件，增加如下内容
SPARK_DIST_CLASSPATH=$(/opt/module/hadoop3/bin/hadoop classpath)
1.4.2 Standalong模式

local本地模式毕竟只是用来进行练习演示的，真实工作中还是要将应用提交到对应的集群中去执行，这里我们来看看只使用Spark自身节点运行的集群模式，也就是我们所谓的独立部署（Standalone）模式。Spark的Standalone模式体现了经典的master-slave模式。
集群规划:

Linux1	Linux2	Linux3
Spark	Worker    Master	Worker	Worker
1.4.3 Yarn模式

Standalone 模式由Spark 自身提供计算资源，无需其他框架提供资源 降低了耦合度
但是 Spark 主要是计算框架，不擅长 资源调度
所以 资源调度 交给Yran 更靠谱

修改conf/spark-env.sh，添加JAVA_HOME和YARN_CONF_DIR配置
mv spark-env.sh.template spark-env.sh
...
export JAVA_HOME=/opt/module/jdk1.8.0_144
YARN_CONF_DIR=/opt/module/hadoop/etc/hadoop
1.4.4 K8S & Mesos模式

Mesos : Apache 下的开源分布式管理框架 ， Twitter 使用 Mesos 管理 30k 台服务器 ， 国内很少使用 。

容器化管理方便管理与运维 ， Spark 2.3 or above 支持K8S的快速部署
https://spark.apache.org/docs/latest/running-on-kubernetes.html

1.4.5 Win模式

不用虚拟机Linux 直接在Win 下也可以启动本地模式 ， 仅限学习

1.5 Spark端口号

4040 计算

查看当前Spark-shell运行任务情况

7077

SparkMaster内部通信的服务端口号

8080 资源

Standalone 模式下，Spark Master Web端口号

18080

Spark 历史服务器端口

8088

Hadoop Yarn 任务运行情况查看的端口号

2 Spark运行架构

核心 是一个计算引擎 ，Master-Slave 的结构

在这里插入图片描述

2.1 Driver & Executor

  1. Driver ：master 管理整个集群的作业调度

    用于执行Spark任务中的main方法，负责实际代码的执行工作

    Driver在Spark作业执行时负责：

1 讲用户程序转换为作业
2 在Executor之间调度任务(task)
3 跟踪Executor的执行情况
4 通过UI展示查询运行情况

实际上，无法准确描述Driver的定义，整个编程没有Drive
简单理解，驱动整个应用运行起来的程序，也称为Driver类

  1. Executor ： Slave 执行任务

    Spark Executor 是集群中Worker中的一个 JVM 进程 ， 负责Spark作业中运行具体Task，Task之间相互独立。

    Executor核心功能

1 负责组成Spark应用的任务，并将结果返回给驱动器进程
2 通过自身块管理(Block Manager)为用户程序中RDD提供内存式存储。 RDD直接在Excutor进程内，内存中 速度快

2.2 Master & Worker

Spark集群的独立部署环境中，不需要依赖其他的资源调度框架，
所以需要有Master & Worker

  1. Master ：类似于YARN中的RM
    负责资源调度 & 分配

  2. Worker : 类似于YARN中的NM
    进程，一个Worker运行在集群中的一台服务器中，
    获取Master分配的资源

2.3 核心概念

2.3.1 Excutor & Core

Executor 是集群中 Worker的一个JVM进程，

提交任务时，可以指定资源的量

--num-executors		配置Executor的数量
--executor-memory	配置每个Executor的内存大小
--executor-cores	配置每个Executor的虚拟CPU core数量
2.3.2 并行度(Parallelism)

多个任务分布在多节点，真正实现多任务并行执行

并行(多个任务同时执行) > 并发 (并发协调多个任务顺序执行)

并行度 ： 就是同时执行的数量(可修改)

2.3.3 有向无环图(DAG)

在这里插入图片描述

迭代计算，催生了 支持DAG产生。

Job内的DAG支持，实现流计算

DAG（Directed Acyclic Graph）有向无环图是由点和线组成的拓扑图形，该图形具有方向，不会闭环。

2.4 提交流程

Spark on yarn

在这里插入图片描述
Spark应用程序提交到Yarn环境中执行的时候，一般会有两种部署执行的方式：Client和Cluster。两种模式，主要区别在于：Driver程序的运行节点。

2.4.1 Yarn Client

Client模式将用于监控和调度的Driver模块在客户端执行，而不是Yarn中，所以一般用于测试。

	Driver在任务提交的本地机器上运行
	Driver启动后会和ResourceManager通讯申请启动ApplicationMaster
	ResourceManager分配container，在合适的NodeManager上启动ApplicationMaster，负责向ResourceManager申请Executor内存
	ResourceManager接到ApplicationMaster的资源申请后会分配container，然后ApplicationMaster在资源分配指定的NodeManager上启动Executor进程
	Executor进程启动后会向Driver反向注册，Executor全部注册完成后Driver开始执行main函数
	之后执行到Action算子时，触发一个Job，并根据宽依赖开始划分stage，每个stage生成对应的TaskSet，之后将task分发到各个Executor上执行。
2.4.2 Yarn Cluster

Cluster模式将用于监控和调度的Driver模块启动在Yarn集群资源中执行。一般应用于实际生产环境。

1 任务提交后和ResourceManager通讯申请AM
2 RM分配Container ， 在NM 上启动AM ， 此时的AM就是Driver
3 Driver 向RM申请Executor内存 ， RM 接到Dirver申请后，分配内存给Container ， 启动Executor进程
4 Executor向Driver反向注册， Executor全部注册完成后Driver开始执行main函数
5 执行到Action算子时，触发一个Job ， 根据宽依赖划分stage， 每个stage生成对应的TaskSet ，task 被分发到Executor上执行

3 Spark核心编程

Spark计算框架为了能够进行 高并发 & 高吞吐 的数据处理，封装了三大数据结构，用于处理不同的应用场景

  • RDD ： 弹性分布式数据集
  • 累加器 ：分布式只写变量
  • 广播变量 ： 分布式共享只读变量

3.1 RDD

Resilient Distributed Dataset
弹性 、 不可变 、 可分区 、 里面的元素并行计算

  • 弹性

    • 存储弹性，内存于磁盘自动切换
    • 容错弹性，丢失数据自动回复
    • 计算弹性，计算出错重试机制
    • 分片弹性，根据需要重新分片

  • 分布式 ：数据存在不同节点

  • 数据集 ： RDD封装了计算逻辑，并不保存数据

  • 数据抽象 ： RDD是一个抽象类 ， 需要子类实现

  • 不可变 ： RDD封装的计算逻辑，是不能改变的，想改变只能再产生新的RDD

  • 可分区、 并行计算

在这里插入图片描述

核心属性
在这里插入图片描述

分区列表
在这里插入图片描述
执行原理

  1. 启动Yarn集群环境
    在这里插入图片描述

  2. Spark通过申请资源创建调度节点和计算节点

在这里插入图片描述

  1. 根据需求将计算逻辑根据分区换分成不同的任务
    在这里插入图片描述
  2. 调度节点将任务根据计算节点状态发送到对应计算节点
    在这里插入图片描述

3.1 IO 流

在这里插入图片描述
数据是一个一个处理

装饰流模式
装饰：在原有的功能上扩展

类似于批处理

在这里插入图片描述

字符流

在这里插入图片描述

3.2 RDD 的执行原理 & IO流对比

在这里插入图片描述

也是 采用装饰者模式

在这里插入图片描述

3.3 RDD创建

在这里插入图片描述
seq : 序列
[ T ] : 泛型

分区计算原理
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

读取数据只读取一次

在这里插入图片描述

在这里插入图片描述

4 算子

在这里插入图片描述
算子（Operator） 操作

所谓的RDD的转换算子，其实就是旧的RDD通过方法调用产生新的RDD

oifengo
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Spark(1) - spark概述
erainm
09-30 475
开始spark之旅啦～～～ 在开始之前，我们要先搞清楚，什么是spark，我们为什么要学spark，有什么特点，然后整体了解整体spark框架模块。 好了，我们开始吧！ 先给出官方地址：spark官网，学习资料很详细，对于学习者很友好 Apache Spark官方地址 1. 什么是spark 官方定义： Apache Spark是用于大规模数据(large-scala data)处理的统一(unified)分析引擎。  Spark 最早源于一篇论文 Resilient Distributed Datase
Spark架构和原理
momo898821的博客
03-26 702
Spark基础架构知识
Spark是一种基本的开源大数据技术
weixin_34038652的博客
02-14 257
火花前的时间要了解Spark的潜力，它有助于在十年前回顾大数据的形状。在2008 - 2009年，大数据即业务概念经常与Hadoop技术混为一谈。Hadoop是一个开源框架，用于管理在MapReduce编程任务上运行的集群（多台计算机的网络）。MapReduce是Google于2004年推广的一种编程模型，用于构建大型数据集的收集和分析。...
Spark简介——应用场景和基本原理
weixin_34194317的博客
05-18 310
2019独角兽企业重金招聘Python工程师标准>>> ...
大数据——Spark GraphX介绍
热门推荐
Vicky_Tang
08-04 1万+
一、GraphX介绍 Spark GraphX是一个分布式图处理框架，它是基于Spark平台提供对图计算和图挖掘简洁易用的而丰富的接口，极大的方便了对分布式图处理的需求。 众所周知，社交网络中人与人之间有很多关系链，例如Twitter、Facebook、微博和微信等，这些都是大数据产生的地方都需要图计算，现在的图处理基本都是分布式的图处理，而并非单机处理。Spark GraphX由于底层是基于Spark来处理的，所以天然就是一个分布式的图处理系统。 图的分布式或者并行处理...
一文详解Spark基本架构原理
02-24
文章主要通过八个方面全面介绍了spark的架构原理，更多内容请看全文。ApacheSpark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的...
Spark基本架构及原理
02-25
ApacheSpark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一，与Hadoop和...架构及生态2.spark与hadoop3.运行流程及特点4
spark内部原理 架构kindle电子书
01-15
spark内部原理和架构 电子书完整版。
Spark高速计算引擎之Spark GraphX(四)
qq_41559118的博客
02-03 987
文章目录前言一、Spark GraphX概述1.1图的相关术语1.2图计算模式二、Spark GraphX 基础2.1 GraphX 架构2.2存储模式2.3核心数据结构 前言 Spark GraphX是一个分布式图处理框架，它是基于Spark平台提供对图计算和图挖掘简洁易用的而丰富的接口，极大的方便了对分布式图处理的需求。 一、Spark GraphX概述 GraphX是一个新的Spark API，它用于图和分布式图(graph-parallel)的计算。GraphX通过引入弹性分布式属性图(Resi
【Spark GraphX】初始Spark GraphX
hyj
09-08 566
目录 一、基本概念 二、图例说明 一、基本概念 1、Spark GpaphX：是一个分布式图处理框架，基于spark平台提供对图计算和图挖掘简洁易用而丰富多彩的接口，极大地方便了分布式图处理的需求； 2、图：图是由顶点集合(vertex)及顶点间的关系集合（边edge）组成的一种数据结构。 3、Spark GraphX中有三个重要的概念： （1）Vertices：对应的RDD名称为VertexRDD，属性包括顶点ID和顶点属性； （2）Edges：对应的RDD名称为EdgeRDD，属性包括源
Spark中的图计算库GraphX是什么？请解释其作用和常用操作。
jakelihua
09-11 679
图数据通常由节点和边组成，节点表示实体或对象，边表示节点之间的关系或连接。GraphX提供了一套丰富的图算法和操作，可以对图数据进行各种计算和分析，如图搜索、图聚类、图剪枝、图遍历等。它提供了一套丰富的图算法和操作，可以帮助用户对大规模图数据进行计算和分析。GraphX支持图的创建、转换、操作和分析，可以用于解决各种图数据分析和挖掘问题。假设我们有一个社交网络的图数据，其中节点表示用户，边表示用户之间的关注关系。我们希望通过分析这个图数据，找出具有影响力的用户和他们之间的关系。
GraphX编程指南-官方文档-整理
程序萌部落
05-07 747
GraphX 是新的(alpha)的图形和图像并行计算的Spark API。从整理上看，GraphX 通过引入 弹性分布式属性图(Resilient Distributed Property Graph)继承了Spark RDD：一个将有效信息放在顶点和边的有向多重图。为了支持图形计算，GraphX 公开了一组基本的运算(例如，subgraph，join...
Spark 之 Graphx学习笔记
Jerry的博客
11-19 2437
写此博客时，我也是刚接触Spark GraphX，很多东西都一知半解，不过还好对Spark原理有一定的了解。为了，进一步学习：可能你会有很多的手段，比如官网（这个是最直接了当，也是最可靠的方法，但需要你有一定的英语能力），博客等。最近看到了一片博客，写的非常不错，在此以做学习笔记的方式写了这篇博客。以下很多内容来源于CSDN博客：千寻千梦：https://blog.csdn.net/qq_3453...
Spark-GraphX
getBinary的博客
05-30 541
Spark-GraphX基本概念SparkGraphX创建Graph对象verticesPageRankPregel 基本概念 首先了解下与图相关的概念 图（Graph）由顶点（Vertex）和边（Edge）组成 图根据边是否有方向，可以分为有向图和无向图 有向图： 无向图： 根据是否构成环形（并不是指边和边组成了封闭的图形就叫是有环，而是指从某个顶点出发，经过若干边后可以回到该顶点），分为有环图和无环图 有环图： 无环图： 度：一个顶点，与其连接的边的数量，就叫做该顶点的度 出度：指从当前顶点指
Spark GraphX图计算库
最新发布
禅与计算机程序设计艺术
01-18 976
1.背景介绍 Spark GraphX是一个基于Spark的图计算库，它为大规模图计算提供了高性能、高效的解决方案。图计算是一种处理大规模、复杂网络数据的方法，它广泛应用于社交网络、信息传播、推荐系统等领域。 Spark GraphX的核心设计思想是将图计算任务拆分为多个小任务，并将这些小任务分布式执行在Spark集群上。这样可以充分利用Spark的分布式计算能力，提高图计算的性能和效率。 ...
Spark GraphX图计算框架原理概述
不清不慎的博客
08-24 1万+
言之易而为之难，学习大数据之图计算，就是从“浊”中找出“静”的规律，达到“清”的境界；从“安”中找出“生”的状态。 概述 GraphX是Spark中用于图和图计算的组件，GraphX通过扩展Spark RDD引入了一个新的图抽象数据结构，一个将有效信息放入顶点和边的有向多重图。如同Spark的每一个模块一样，它们都有一个基于RDD的便于自己计算的抽象数据结构（如SQL的DataFram...
Spark——基于Spark Graphx的图形数据分析
小白
08-17 878
基于Spark Graphx的图形数据分析 官网指导https://spark.apache.org/docs/latest/graphx-programming-guide.html#pregel-api 一、图计算的好处 许多大数据以大规模图或网络的形式呈现 许多非图结构的大数据，常会被转换为图模型进行分析 图数据结构很好地表达了数据之间的关联性 二、图的概念 1、图的基本概念 图是由顶点集合(vertex)及顶点间的关系集合（边edge）组成的一种网状数据结构 通常表示为二元组：Gragh=（
Spark GraphX概念及操作示例
斯特凡今天也很帅的博客
01-12 630
引言:为什么要学计算 许多大数据以大规模图或网络的形式呈现 许多非图结构的大数据,常会被转换为图模型进行分析 图数据结构很好地表达了数据之间的关联性 一、图的基本概念 图是由顶点集合(vertex)及顶点间的关系集合（边edge）组成的一种网状数据结构 通常为二元组:Graph=(V,E) 可以对事物之间的关系建模 应用场景 在地图应用中寻找最短路径 社交网络关系 网页间超链接关系 图的术语-1 顶点（Vertex） 边（Edge） Graph=(V,E) 集合V={v1,v2,v3} 集合E={(v1,v
Spark GraphX 图算法的理解
Huangjiazhen711的博客
10-20 1352
Spark GraphX是一个分布式图处理框架，基于Pregel接口实现了常用的图算法。包括 PageRank、SVDPlusPlus、TriangleCount、 ConnectedComponents、LPA 等算法，以下通过具象化的图实例理解相应的算法用途。
spark streaming架构原理详解！
06-28
Spark Streaming的架构原理主要包括以下几个方面： 1. 数据源：Spark Streaming支持多种数据源，包括Kafka、Flume、Twitter、HDFS等，用户可以根据自己的需求选择合适的数据源。 2. 数据接收器：Spark Streaming...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

oifengo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值