数据处理方式,线程与进程,多任务,Spark与MR的区别

于 2024-10-09 10:05:32 发布
阅读量298 收藏 12
点赞数 9
分类专栏： spark 文章标签： spark 多任务
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_58305115/article/details/142746583
版权

目录

数据处理的方式有哪些

单机数据处理

集群数据处理

 分布式计算框架

 MapReduce

 ApplicationMaster

Spark分布式计算类别

进程与线程的区别

进程是计算时分配资源的最小单位

线程是执行计算任务的最小任务

多进程的执行效率没有多线程的执行效率高

多任务

Spark和MapReduce的区别

处理速度

实现方式

容错机制

调度

数据处理的方式有哪些

单机数据处理

依赖单个计算机的资源,处理的数据量较少,当数据量过大时,无法执行

集群数据处理

采用分布式技术,借助分布式服务实现海量数据处理

  • 分布式存储 HDFS  :  主-NameNode   从-DataNode
  • 分布式资源调度 Yarn  :  主-ResourceManager  从-NodeManager

 分布式计算框架

 MapReduce

  • 需要开发人员编写计算代码
  • MapReduce采用的是多任务方式（进程）进行分布式计算，每个计算任务运行在不同的服务器上
  • MapReduce包含Map和Reduce两个部分，两个部分分别以进程的方式运行
  • Map运行的数量由谁决定？
    • 默认情况下，split切割的数据会给到Map，而split默认切割一个块的的数据，所以，一个块对应一个map
  • Reduce运行数量？
    • 默认情况下，根据计算的数据量自动决定产生多少个reduce
    • hive在进行计算时，可以通过set进行设置
    • 指定的reduce个数决定了分区数 ，分区数和reudce个数是一致的

 ApplicationMaster

ApplicationMaster管理MapReduce的计算

Spark分布式计算类别

spark有很多部署方式,不同的部署方式决定spark计算时的资源调度方式

  • Local模式 使用单机资源
  • 使用master参数指定资源调度方式 默认 loca

  • standalone 使用spark自带的资源调度

  • yarn 使用hadoop的资源调度

进程与线程的区别

进程是计算时分配资源的最小单位

  • 如果要执行一个计算任务，是按照进程分配资源
  • 运行时，需要先创建进程，一个进程就有一份资源

线程是执行计算任务的最小任务

  • 线程依赖进程的资源，没有进程就没有线程
  • 默认情况下一个进程中包含一个线程，使用线程执行任务

多进程的执行效率没有多线程的执行效率高

  • 创建进程资源需要花费时间
  • spark的执行速度比Mapreduce的速度快

多任务

  • 可以通过多任务实现多个计算机任务同时执行
  • 多任务可以通过进程实现多个任务,也可以多个线程实现

Spark和MapReduce的区别

处理速度

MapReduce只要是基于磁盘计算,将数据存储在HDFS上,并在计算工程中频繁读写磁盘.

Spark是支持内存计算,当内存够大,可以比MapReduce快100倍

实现方式

MapReduce采用的是多进程方式实现多任务计算，提升计算效率

Spark采用的多线程方式实现多任务，提升计算效率

容错机制

MapReduce 通过在HDFS上存储中间数据来实现容错

Spark通过RDD的血统机制来实现容错,如果某个节点失败,可以从血统信息重新计算丢失的数据.

调度

MapReduce使用Hadoop的YARN作为资源调度器

Spark有自己的调度器,可以更高效的管理资源和任务

木鬼与槐
关注
专栏目录
Spark学习笔记之（一）：MR与Spark的区别
u010737756的博客
07-02 4488
本文仅列出了较大的区别点，实际mr与Spark为完全不同的大数据计算组件。 1.速度： MR与Spark的根本区别（关键优化）在于：Spark除了需要shuffle的计算，其他是将结果/中间结果持久化到内存中，而MR是都需要落地到磁盘(map.reduce落地都写)，因此Spark格外适用于频繁读写中间结果的迭代计算 而MR最终落地HDFS，Spark最终也会落地节点磁盘，因此如果只是简单的非迭代计算，MR最终只会比Spark多消耗一部分（HDFS不同datanode间的）网络IO。 所以如果有项目需求为简
Spark&MapReduce的区别、多线程&多进程的区别
奔赴彼岸
01-14 683
Spark&MapReduce的区别、多线程&多进程的区别1.spark与hadoop区别：2.Spark多线程运行， MR多进程运行3.MR存在的问题：4.线程和进程的区别： 1.spark与hadoop区别： 本质:主要看是否进行磁盘的转换 hadoop:因为需要partition所以需要进行磁盘的转换存储 spark:则不需要这个 2.Spark多线程运行， MR多进程运行 多线程：因此spark作业适合于低延迟类型的作业 多进程：方便控制资源，进程是一个独享的空间，但是启动比较费时间
大数据处理与分析-Spark
m0_62377363的博客
12-20 1655
第一阶段：Spark最初由美国加州伯克利大学( UC Berkelcy)的AMP实验室于2009年开发，是基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序第二阶段：2013年Spark加入Apache孵化器项日后发展迅猛，如今已成为Apache软件基金会最重要的三大分布式计算系统开源项目之一( Hadoop磁盘MR离线式、Spark基于内存实时数据分析框架、Storm数据流分析框架 ）
Mr、Spark、Flink的区别
qq_42456324的博客
06-06 1684
（1）计算速度 MR与Spark的根本区别（关键优化）在于：Spark除了需要shuffle的计算，其他是将结果/中间结果持久化到内存中，而MR是都需要落地到磁盘(map.reduce落地都写)，Mr势必造成磁盘IO，因此Spark格外适用于频繁读写中间结果的迭代计算。 从任务的并行度看，Spark会增加任务的并行度从而提高速度：由于将中间结果写到磁盘与从磁盘读取中间结果属于不同的环节，MR只是将它们简单的通过串行执行衔接起来。而Spark把不同的环节抽象为Stage，允许多个S
大数据---spark和mr的区别
lipviolet的博客
03-17 1万+
首先最核心的两点：内存和磁盘的区别；job中途失败重新计算的区别。 ---spark最核心的概念是RDD（弹性分布式数据集），它的所有rdd在并行运算过程程中，可以做到数据共享，也就是可以重复使用mr在计算过程中 ---mapr：一次数据过程包含从共享文件系统读取数据、进行计算、完成计算、写入计算结果到共享存储中，在计算过程中，不同计算节点之间保持高度并行，这样的数据流模型使得那些需要反复使用...
Hadoop与Spark等大数据框架介绍
热门推荐
冯·诺依曼
08-09 41万+
海量数据的存储问题很早就已经出现了，一些行业或者部门因为历史的积累，数据量也达到了一定的级别。很早以前，当一台电脑无法存储这么庞大的数据时，采用的解决方案是使用NFS(网络文件系统)将数据分开存储。但是这种方法无法充分利用多台计算机同时进行分析数据。 一个实际的需求场景：日志分析 日志分析是对日志中的每一个用户的流量进行汇总求和。对于一个日志文件，如果只有这么几行数据，我们一般会采用这...
大数据分析-第十二章 Spark与数据分析
SpriCoder的博客
02-20 2596
第十二章 Spark与数据分析
shuffle过程详解（spark与mr）
我还是个菜鸟
10-12 1871
spark-shuffle与MapReduce shuffleMR shuffle1、map端2、reduce端配置调优map端的调优属性：reduce端的调优属性spark shuffle一.定义二.演变三.Hash Shuffle V1有多少个reduce任务就会产生多少个中间文件（一个task--->所产生的文件数量=== reduce task数量）Hash Shuffle V1 过...
spark-为什么spark比mr快
DCHAO的博客
03-20 1197
{1} 使用DAG来组织逻辑，提供丰富的算子。 DAG由一系列RDD通过血缘组成，通过job，stage的划分，来实现计算过程的优化。使用mr时，开发者常常花费大量时间考虑如何把操作组合到一起，以减少 MapReduce 的迭代次数。而在 Spark 的DAG可以自动优化，写出一个非常复杂的映射并不见得能比使用很多简单的连续操作获得好很多的性能。spark提供了多种算子，算子内部也进行了优化，可以更快的处理业务。而MR模型只有map和reduce2个阶段，很多代码需要自己封装。因此，用户可以用更小的操作来组
Spark任务提交至YARN运行的3种方式与Mapreduce提交任务的几种形式
xby18772963985的博客
01-06 2346
Spark作为新一代计算平台的闪亮明星，在我们的大数据平台中具有非常重要的作用，SQL查询、流计算和机器学习等场景都能见到它的身影，可以说平台应用的数据处理、计算和挖掘等场景都可以使用Spark进行开发。在默认的情况下，如果想向Spark提交计算任务，通常会使用Spark提供的Spark-Submit脚本来提交含有业务逻辑的jar文件程序。这种方式虽然简单，但有悖于服务化的设计理念，所以需要为Spark提供一套任务管理的RESTful服务。 在大数据平台中，Spark是以Spark on YARN的方式运行
spark 处理业务，使用spark比MR快的原因
a3125504x的博客
07-19 1089
处理业务，使用spark比MR快的原因前言内存&硬盘MapReduceSparkspark DAG任务划分减少了不必要的shuffle资源申请粒度：进程&线程MapReduceSpark多任务计算示例 前言 从官网上看，使用spark处理业务要比MR快100倍左右。 原因主要有三点： 运算资源：内存&硬盘 根本原因：spark DAG任务划分减少了不必要的shuffle 资源申请粒度：进程&线程 内存&硬盘 注意：MR和spark最终的shuffle阶段（如果有
spark-spark程序与pyspark交互-submit的参数-RDD的特性-初识对象数据集-算子类型
LIUERTOU的博客
11-08 1890
spark程序与pyspark交互流程 交互的流程图 说明 spark-submit想关的参数 spark-submit.sh脚本的作用 用于将spark程序提交到指定的资源调度平台上进行运行，并且在提交过程中，可以对资源设置相关的配置信息 基本参数 --master ： spark-core的内容（核心部分） RDD的基本介绍 背景说明 1）在早期的计算模型： 单机模型 比如： pandas ， mysql 依赖于单个节点的性能 适用于： 少量数据集统计分析的处理
Spark的基本概念与架构
晓晓的天空
03-10 2496
Spark的基本概念与架构
大数据毕业设计选题推荐-图书数据分析系统-图书推荐系统-Python数据可视化-Hive-Hadoop-Spark
IT毕设梦工厂的博客
10-08 887
在数字化时代背景下，图书行业正经历着前所未有的变革。随着互联网的普及和数字阅读平台的兴起，图书的销售和阅读方式日益多样化，产生了海量的图书相关数据。这些数据包括图书销量、读者评价、图书类别、作者信息等，它们对于出版社、书店以及作者本人来说具有极高的价值。有效的数据分析能够帮助相关利益方更好地理解市场趋势，优化图书选题，制定营销策略，提升读者阅读体验。根据中国新闻出版研究院发布的数据，2023年中国图书零售市场码洋规模达到1500亿元，同比增长约10%，其中线上销售码洋规模占比超过70%。
大数据毕业设计选题推荐-NBA球员数据分析系统-Python数据可视化-Hive-Hadoop-Spark
IT毕设梦工厂的博客
10-01 1619
NBA作为全球最具影响力的职业篮球联盟，其数据分析在近年来受到越来越多的关注。据统计，2022-2023赛季NBA常规赛共产生1230场比赛，涉及30支球队和数百名球员，每场比赛平均产生超过400个数据点。这些海量数据涵盖了得分、篮板、助攻等常规统计，以及进阶数据如真实命中率、使用率等。NBA官方数据显示，2022年有超过10亿粉丝通过各种渠道关注NBA赛事，其中数据分析内容的需求量年增长率超过20%。然而，面对如此庞大的数据资源，传统的数据处理方法难以应对其复杂性和动态性。
大数据毕业设计选题推荐-国产电影数据分析-Python数据可视化-Hive-Hadoop-Spark
IT研究室的博客
10-08 1091
随着中国电影市场的蓬勃发展，电影产业已成为我国文化娱乐产业的重要组成部分。根据艾媒咨询的数据，2023年中国“十一”黄金周电影市场总票房累计27.34亿，观影人次超6511.4万，同比增长80%。这一增长态势不仅体现了中国电影市场的活力，也反映了观众对于高质量影视作品的迫切需求。国产电影通过多样化的题材和创新的叙事手法，不断吸引着观众的目光，同时也积累了海量的数据资源。这些数据涵盖了电影的票房、评分、观众评价等多个方面，为电影产业的深入研究提供了丰富的素材。
SPARK调优：AQE特性（含脑图总结）
ALX3li的博客
10-02 1386
SparkAQE是spark 3.0引入的一大重要功能，今天我们来聊一聊AQE的实现原理。了解一个功能，先来了解其面临的问题。当涉及到大型集群中的复杂查询性能时，处理的并行度和正确Join策略选择已被证明是影响性能的关键因素。
大数据毕业设计选题推荐-电影票房数据分析系统-Python数据可视化-Hive-Hadoop-Spark
最新发布
IT毕设梦工厂的博客
10-08 1102
电影产业作为文化产业的重要组成部分，在世界各国的经济发展中扮演着越来越重要的角色。随着全球化的推进和数字技术的发展，中国电影市场近年来呈现出爆发式增长。据国家电影局发布的数据显示，2023年中国电影票房达到472.58亿元人民币，同比增长超过130%，银幕总数超过8万块，已经成为全球第二大电影市场。在这样一个庞大的市场中，电影票房数据作为衡量电影市场表现的重要指标，对于电影制作方、发行方、投资者以及政策制定者来说具有极高的参考价值。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值