spark(一)

最新推荐文章于 2024-08-05 18:29:14 发布
最新推荐文章于 2024-08-05 18:29:14 发布
阅读量103 收藏
点赞数
文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_46480050/article/details/107919917
版权

Spark(一)

  • 为什么使用Spark

    • Map Reduce编程模型的局限性
      • 繁杂
        • 只有Map和Reduce两个操作,复杂的逻辑需要大量的样板代码
      • 处理效率低
        • Map中间结果写磁盘,Reduce写HDFS,多个Map通过HDFS交换数据
        • 任务调度和启动开销大
      • 不适合迭代处理,交互式处理和流式处理
    • Spark是类Hadoop MapReduce的通用的并行框架
      • Job中间输出结果可以保存在内存,不再需要读写HDFS
      • 比MapReduce平均快10倍以上

  • Spark优势

    • 速度快
      • 基于内存数据处理,比MR快100个数量级以上(逻辑回归算法测试)
      • 基于硬盘数据处理,比MR快10个数量级以上
    • 易用性
      • 支持Java,Scala,Python,R语言
      • 交互式shell方便开发测试
    • 通用性
      • 一栈式解决方案:批处理,交互式查询,实时流处理,图计算及机器学习
    • 多种运行模式
      • YARN,Mesos,EC2,Kubernetes,Standalone,Local

  • Spark技术栈

    • Spark Core
      • 核心组件,分布式计算引擎
    • Spark Sql
      • 高性能的基于Hadoop的SQL解决方案
    • Spark Streaming
      • 可以实现高吞吐量,具备容错机制的准实时流处理系统
    • Spark Graphx
      • 分布式图处理框架
    • Spark MLlib
      • 构建在Spark上的分布式机器学习库

  • Spark架构设计

在这里插入图片描述

  • 运行架构

    • 在驱动程序中,通过SparkContext主导应用的执行
    • SparkContext可以连接不同类型的Cluster Manager (Standalone,YARN,Mesos),连接后,获得集群节点上的Executor
    • 一个Worker节点默认一个Executor,可通过SPARK_WORKER_INSTANCES调整
    • 每个应用获取自己的Executor
    • 每个Task处理一个RDD分区

  • Spark API

    • SparkContext

      • 连接Driver与Spark Cluster(Workers)

      • Spark的主入口

      • 每个JVM仅能有一个活跃的SparkContext

      • SparkContext.getOrCreate

        import org.apache.spark.{SparkConf,SparkContext}

val conf = new SparkConf().setMaster("local[1]").setAppName("hellospark")
val sc = SparkContext.getOrCreate(conf)

    • SparkSession

      • Spark2.0+应用的主入口:包含了SparkContext,SQLContext,HiveContext以及StreamingContext

      • SparkSession.getOrCreate

        import org.apache.spark.sql.SparkSession

val spark = SparkSession.bulider.master("local[2]").appName("name").getOrCreate()

    • RDD

      • Spark核心,主要数据抽象

    • DataSet

      • 从Spark1.6开始引入的新的抽象,特定领域对象中的强类型集合,它可以使用函数或者相关操作并行地进行转换等操作

    • DataFrame

      • DataFrame是特殊的DataSet

  • RDD概念

    • 解释

      • RDD是用于数据转换的接口
      • RDD是指向了存储在HDFS,Cassandra,Hbase等,或缓存(内存,内存+磁盘,仅磁盘),或在故障或缓存收回时重新计算其他RDD分区中的数据

    • RDD的五大特性

      • 1.一系列的分区信息,每个任务处理一个分区
      • 每个分区上都有compute函数,计算该分区中的数据
      • RDD之间有一系列的依赖
      • 分区器决定数据分配到哪个区
      • 优先位置列表,将计算任务分派到其所在处理数据块的存储位置

    • RDD是弹性分布式数据集

      • 分布式数据集
      • RDD是只读的,分区记录的集合,每个分区分布在集群的不同节点上
        • RDD并不是存储真正的数据,只是对数据和操作的描述
      • 弹性
        • RDD默认存放在内存中,当内存不足,Spark自动将RDD写入磁盘
      • 容错性
        • 根据数据血统,可以自动从节点失败中恢复分区

    • RDD与DAG

      • 两者都是Spark提供的核心抽象
      • DAG(有向无环图)反应了RDD之间的依赖关系

    • RDD的特性

      • 一系列的分区(分片)信息,每个任务处理一个分区

    • 每个分区上都有compute函数,计算该分区中的数据

      • RDD之间有一系列的依赖

    • 分区器决定数据分配至哪个分区

    • 有限位置列表,将计算任务分派到其所在处理数据块的存储位置

    • RDD编程流程

      • RDD创建->RDD转换->RDD持久化->RDD执行

    • RDD的创建

      • 使用集合创建RDD
        val rdd=sc.parallelize(List(1,2,3,4,5,6))
rdd.count
  rdd.partitions.size
  val rdd=sc.parallelize(List(1,2,3,4,5,6),5)
  rdd.partitions.size
val rdd=sc.makeRDD(List(1,2,3,4,5,6))//底层调用parallelize,并给定默认分区
      • 通过加载文件产生RDD
       val distFile=sc.textFile("file:///home/hadoop/data/hello.txt")
    distFile.count
  val distHDFSFile=sc.textFile("hdfs://hadoop000:8020/hello.txt")

  • RDD分区

    • 分区是RDD被拆分并发送到节点的不同块之一

      • 拥有的分区越多,得到的并行性就越强

      • 每个分区都是分发到不同Worker Node的候选者

      • 每个分区对应一个Task

        在这里插入图片描述

    • RDD的操作

      • 分为lazy与non-lazy两种

    • Transformation(lazy):也称转换操作,转换算子

  • Actions(non-lazy):立即执行,也称动作操作,动作算子

  • RDD转换算子

    • 对于转换操作,RDD的所有转换都不会直接计算结果

      • 仅记录作用于RDD上的操作

      • 当遇到动作算子时才会进行真正的计算
        在这里插入图片描述

  • RDD持久化

    • RDD缓存机制:缓存数据至内存/磁盘,可大幅度提升Spark应用性能

      • cache=persist(MEMORY)
      • persist

    • 缓存策略StorageLevel

      • MEMORY_ONLY
      • MEMORY_AND_DISK
      • DISK_ONLY
      • …

    • 缓存应用场景

      • 从文件加载数据之后,因为重新获取文件成本较高
      • 经过较多的算子变换之后,重新计算成本较高
      • 单个非常消耗资源的算子之后

    • 使用注意事项

      • cache()或persist()后不能再有其他算子
      • cache()或persist()遇到Action算子完成后才生效

    • 检查点:类似于快照

      sc.setCheckpointDir("hdfs:/checkpoint")
val rdd=sc.parallelize(List(('a',1), ('a',2), ('b',3), ('c',4)))
rdd.checkpoint
rdd.collect //生成快照
rdd.isCheckpointed
rdd.getCheckpointFile

    • 检查点与缓存的区别

      • 检查点会删除RDD lineage,而缓存不会
      • SparkContext被销毁后,检查点数据不会被删除

    • RDD共享变量

      • 广播变量:允许开发者将一个只读变量(Driver端)缓存到每一个节点(Executor)上,而不是每一个人物传递一个副本

        val broadcastVar=sc.broadcast(Array(1,2,3))  //定义广播变量
broadcastVar.value
        • Driver端变量在每个Executor每个Task保存一个变量副本
        • Driver端广播变量在每个Executor只保存一个变量副本

      • 累加器:只允许added操作,常用于实现计数

        val accum = sc.accumulator(0,"My Accumulator")
sc.parallelize(Array(1,2,3,4)).foreach(x=>accum+=x)
accum.value

    • RDD分区计算

      • 分区大小限制为2GB
      • 分区太少
        • 不利于并发
        • 更容易受数据倾斜影响
        • groupBy,reduceByKey,sortByKey等内存压力大
      • 分区过多
        • Shuffle开销大
        • 创建任务开销大
      • 一般每个分区大小为128MB
      • 如果每个分区小于但接近2000,则设置为大于2000

    • 数据倾斜

      • 指分区中的数据分配不均匀,数据集中在少数分区中
        • 严重影响性能
        • 通常发生在groupBy,join等之后
      • 解决方案
        • 使用新的Hash值(如对key加盐)重新分区
m0_46480050
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
大数据｜Spark介绍
知识库搭建ing
05-18 8586
park为了解决以往分布式计算框架存在的一些问题(重复计算、资源共享、系统组合)，提出了一个分布式数据集的抽象数据模型：RDD(Resilient Distributed Datasets)弹性分布式数据集。
spark一行转多行操作并存储文件到hdfs为parquet格式
皮卡帅的博客
04-08 1万+
spark一行转多行操作并存储文件到hdfs为parquet格式object Run:trait SparkUtils:(这里只是构建sparksession实例并返回，可自行创建)实现结果：注意： 直接上代码了，有不足之处，望大佬指正。 object Run: object Run extends SparkUtils{ def main(args: Array[String]): Un...
Spark系列文章一：Spark 提交任务流程详解
myc1234567的博客
10-18 7888
一、spark提交任务流程概述 1.1、流程概述 1、构建spark执行环境（初始化sparkcont）； 2、SparkContext向资源管理器注册并申请Executor资源； 3、资源管理器分配Executor资源，Executor向资源管理器发送心跳汇报状态； 4、Executor向sc注册并申请task； 5、sc向Executor发送task，Executor执行task； 6、运行完成后，sc向资源管理器申请注销资源。 1.2、流程图解（多图） 二、spark...
Spark简介
lydms的博客
10-22 1万+
部署Spark集群大体上分为两种模式：单机模式与集群模式大多数分布式框架都支持单机模式，方便开发者调试框架的运行环境。
Spark Shell 的使用
热门推荐
12-16 3万+
现在我们已经执行了行动操作，执行这些操作需要从磁盘读取数据，Spark在处理这些操作的时候，会把数据缓存起来，后续不管对该RDD执行转换操作还是行动操作，都将直接从内存读取，而不需要和磁盘进行交互。如果数据已经存在外部文件系统，例如本地文件系统，HDFS，HBase，Cassandra，S3 等，可以使用这种方式，即调用 SparkContext 的 textFile 方法，并把文件目录或者路径作为参数。操作，RDD并不会立即缓存，直到执行行动（Action）操作，数据才会真正缓存在内存中。
Spark 架构及运行流程
weixin_47243236的博客
12-09 4502
1. Spark 架构 Spark 遵循主从架构，即集群中由一个主服务器和若干个从服务器组成。 Spark 架构基于两个抽象： RDD：弹性分布式数据集 DAG：有向无环图 1.1 Spark 运行架构 Spark 运行架构中包括： 集群资源管理器（Cluster Manager） Spark 驱动节点（Driver） 若干个工作节点（Worker Node） 1.2 Spark 组件 ???? Application： Spark Application 包含了一个 Driver 及多个 Exe
Spark一次性读取多个目录(嵌套)下多个文件
qq_40407889的博客
02-11 3043
Spark一次性读取指定目录下的所有子目录(嵌套)下的所有文件(pyspark语言为例子) sc = spark.sparkContext rdd = sc.textFile("/file/*/part-*") 举例： 当前目录： [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hdvK2g4M-1644562997368)(C:\Users\guokai02\AppData\Roaming\Typora\typora-user-images\image-2022021115
spark dataframe增加一列
sunlang的博客
12-16 2758
使用任意的值(可以是df中存在的列值，也可以是不存在的)增加一列 .withColumn("last_update_time", lit(DateFormatUtils.format(new Date(), "yyyy-MM-dd HH:mm:ss"))) .withColumn("t_start", col = concat(frame_result("dt"), lit(" "), frame_result("dh"), lit(":00:00"))) ...
spark简介
难得糊涂
04-23 1万+
序言 Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。 Spark 是一种与 Hadoop 相
【Spark】如何将spark中DataFrame的内容保存到一个或多个csv文件
郝同学的博客
07-21 8003
一、问题背景   原本我是想利用spark处理大量的数据集来训练Lr模型，然后需要提取数据集中的标签索引，然后我就想将标签的索引保存成csv格式的数据，再直接导入到hive表中。   这里我们需要得到csv格式的数据，首先我想到可以先创建成dataframe格式的数据==>再转换成csv格式数据。 二、解决方案   经过我的一系列变换，将我所需要的数据都存储到了ListBuffer的数组中，然后直接利用createDataFrame来创建df数据，代码如下： import org.apache.spa
Spark学习，RDD算子，RDD的读写等一篇总结
qq_58462591的博客
08-05 377
​ map(func)：返回一个新的 RDD，该 RDD 由每一个输入元素经过 func 函数转换后组成 比如你有一个list类型的RDD,你可以使用map(func)将String类型的转换成Iteger类型的RDD,他传入的是一个函数，所以需要提供对应的函数。 filter(func)：返回一个新的 RDD，用于过滤限定条件的算子，该 RDD 由经过 func 函数计算后返回值为 true 的输入元素组成，也就是说新的rdd是大于10的数据集。
基于Hog和SVM的行人检测python源码+文档说明
08-05
<项目介绍> 这是采用Hog和SVM的行人检测。 步骤 1,运行crop_image 剪裁负样本的图片 2，运行detection.cpp 进行HOG的提取和SVM的训练 3，运行find_save_hardexample训练hardneg 4，运行detection.cpp 生成最终的SVM模型 5，如果需要检测生成模型的xml,可以运训test_mai - 不懂运行，下载完可以私聊问，可远程教学 该资源内项目源码是个人的毕设，代码都测试ok，都是运行成功后才上传资源，答辩评审平均分达到96分，放心下载使用！ 1、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习，也适合小白学习进阶，当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行，也可在此代码基础上进行修改，以实现其他功能，也可用于毕设、课设、作业等。 下载后请首先打开README.md文件（如有），仅供学习参考, 切勿用于商业用途。 --------
最新直播系统带商城源码 附搭建教程（价值2w多）
08-05
最新直播系统带商城源码 附搭建教程 功能介绍： 礼物系统：普通礼物、豪华礼物、热门礼物、守护礼物、幸运礼物 提现方式：统一平台提现日期及方式，方便用户执行充值提现操作 连麦送礼PK：主播之间可进行互动连麦送礼PK，PK结束有相应的奖惩 直播间红包：平台主播及用户都可发红包，有多种红包类型及红包提醒 主播守护：可进行平台充值，守护心仪的主播，主播守护时长有多种设置 小视频拍摄：单独的小视频模块，包含视频列表，视频拍摄、编辑、上传、互动等 引导图功能：优化更新系统引导图，后台可上传图片或视频内容，视频内容可跳过 动态：点击动态可进入动态详情页，包含话题的动态点击话题可进入该话题动态列表，可查看该话题下所有动态信息，用户可对动态进行点赞、评论、举报等操作 商城：可通过商品名称搜索商品，搜索后可根据销量价格等进行筛选 商品详情：查看商品的名称价格销量评价等信息，可进入店铺，可与客服沟通，可直接购买 直播观看送礼提示：用户赠送礼物后，直播间公屏聊天处有送礼提示 直播购物车：观众在直播间中可查看主播直播购物车中的商品，点击某个商品跳转到商品介绍页面，商品介绍上有购买按钮，
[毕业设计]Java轻量级即时通讯客户端设计与开发(源代码+论文).zip
08-05
[毕业设计]Java轻量级即时通讯客户端设计与开发(源代码+论文)
预算申购单-账簿凭证-采购管理.xlsx
08-05
销售管理表，财务报表，占比分析，消费能力分析，日程安排，提成表，考核表 适用人群：学习不同技术领域的小白或进阶学习者；可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。
LSPosed-v1.9.3_mod-7244-zygisk-release.zip
最新发布
08-05
LSPosed-v1.9.3_mod-7244-zygisk-release.zip
销售员业绩销售分析看板.xlsx.xlsx
08-05
销售管理表，财务报表，占比分析，消费能力分析，日程安排，提成表，考核表 适用人群：学习不同技术领域的小白或进阶学习者；可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。
[毕业设计]Java医药质量控制与追溯系统(源代码+论文).zip
08-05
[毕业设计]Java医药质量控制与追溯系统(源代码+论文)
基于STM32检测的简易太阳能发电、用电装置
08-05
基于STM32检测的简易太阳能发电、用电装置
免费下载分享一些互联网大厂的面试题以及答案和经验-有问题可以私信解决
08-05
这份精心策划的【笔试面试题】资源是一份程序员晋升路上不可或缺的参考资料。它汇集了各大企业、技术巨头历年来的各类笔试及面试难题，涉及算法、数据结构、系统设计、数据库管理等多个核心领域。500页的内容深度解析，不仅涵盖基础理论测试，还包括实际项目案例分析，让考生能全面理解技术本质并提升解题策略。 本资源特色在于其丰富的题目类型，包括选择题、填空题、编程题以及开放性问题，旨在模拟真实工作场景，帮助读者磨炼思维敏捷度和问题解决能力。每个问题后配有详尽解答和解析，深入剖析思路路径，便于学习者查漏补缺，提高应对挑战的能力。 无论你是准备求职初入职场的新手，还是欲进一步提升技能的资深开发者，这本书都能成为你备考过程中的得力助手。通过掌握这里的知识，你将更有信心面对面试官，展示出卓越的技术实力和应变智慧。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值