Spark(23)-Spark设计及Spark基本运行原理简介以及与Hadoop的对比

最新推荐文章于 2024-10-01 18:52:18 发布
最新推荐文章于 2024-10-01 18:52:18 发布
阅读量77 收藏
点赞数
分类专栏： Spark_其它_learn 文章标签： spark 大数据 分布式
本文为博主原创文章，未经博主允许，不得转载！！
本文链接：https://blog.csdn.net/qq_52128187/article/details/131105646
版权
文章探讨了Spark作为大数据处理框架相对于Hadoop的优点，包括基于内存的计算减少磁盘IO，适合迭代运算，以及使用Scala语言实现的强大并发能力。同时，提到了Hadoop的缺点，如MR表达能力有限，磁盘开销大，延迟高等问题。Spark通过线程方式提供更高的实时性，节省了序列化成本。
摘要由CSDN通过智能技术生成

底层整体运行体系

伯克利

 

Spark优点

 为什么要用scala来搞spark

 

 强大的并发，兼容java

 

Spark与hadoop对比

hadoop缺点

它抽象成MR表达能力不行

磁盘开销太大

延迟高，任务执行分成两级了，map阶段全部完成才能启动第二阶段

写磁盘io开销太大，对算法，逻辑回归不友好，不适合做迭代运算

反观 Spark呢？

 基于内存，做迭代操作不需要反复写磁盘

 Spark与Hadoop执行流程对比

 

 MapReduce与Spark对比

spark节省了磁盘的开销也节省了序列化和反序列化的开销

MapReduce是进程，Spark是线程的方式，Spark实时性很高. 

以上来自B站林子雨课程，我自己做了点学习补充

[3.4]--Spark生态系统_哔哩哔哩_bilibili

Matrix70
关注
专栏目录
Spark(23) -- Spark SQL -- DataSet
erainm
10-06 259
1. 什么是DataSet 2. 对比DF 3. DataFrame、DataSet、RDD的区别 4. 创建DS 5. RDD、DF、DS转换 6. scala版dataSet常用操作
hadoop组件---spark----全面了解spark以及与hadoop的区别
直到世界的尽头
01-16 5545
Spark是什么 Spark （全称 Apache Spark™） 是一个专门处理大数据量分析任务的通用数据分析引擎。 spark官网 Spark核心代码是用scala语言开发的，不过支持使用多种语言进行开发调用比如scala，java，python。 spark github Spark文档2.4.4 Spark目前有比较完整的数据处理生态组件，可以部署在多种系统环境中，同时支持处理多种数据源。...
Spark-1.3.1-bin-hadoop2.6安装及RDD基本操作
小强签名设计 的博客
07-10 1万+
spark 安装模式： local(本地模式)：常用于本地开发测试，本地还分为local单线程和local-cluster多线程 standalone(集群模式)：典型的Mater/slave模式，不过也能看出Master是有单点故障的；Spark支持ZooKeeper来实现 HA on yarn(集群模式)： 运行在 yarn 资源管理器框架之上，由 yarn 负责资源管理，Spark 负
Spark 基本架构及运行原理
12-08 4万+
Spark运行架构包括集群资源管理器（Cluster Manager）、运行作业任务的工作节点（Worker Node）、每个应用的任务控制节点（Driver）和每个工作节点上负责具体任务的执行进程（Executor）。其中，集群资源管理器可以是Spark自带的资源管理器，也可以是YARN或Mesos等资源管理框架。 与Hadoop MapReduce计算框架相比，Spark所采用的Executor有两个优点：一是利用多线程来执行具体的任务（Hadoop MapReduce采用的是进程模型），减少任务的启动
windows10环境安装spark-3.0.3-bin-hadoop2.7
TF666666的博客
09-01 9440
@[TOC]（windows10环境安装spark-3.0.3-bin-hadoop2.7和遇到的问题） 前言 星光不问赶路人，时光不负有心人。 刚刚接触spark，安装环境就暗了两天，目前遇到的问题，下面一一会有说明，希望能给到大家帮助，其中会用到其他人的博客，有的可能忘记标记引用，如看到，可以联系本人，进行及时更改 一、spark安装需要安装的相关的？ 1.JDK安装（不会的网上有很多）本人安装的是Java 1.8.0_291 2.下载Hadoop_2.7.1 3.下载下载hadooponwindows
Hadoop与Spark等大数据框架介绍
热门推荐
冯·诺依曼
08-09 41万+
海量数据的存储问题很早就已经出现了，一些行业或者部门因为历史的积累，数据量也达到了一定的级别。很早以前，当一台电脑无法存储这么庞大的数据时，采用的解决方案是使用NFS(网络文件系统)将数据分开存储。但是这种方法无法充分利用多台计算机同时进行分析数据。 一个实际的需求场景：日志分析 日志分析是对日志中的每一个用户的流量进行汇总求和。对于一个日志文件，如果只有这么几行数据，我们一般会采用这...
Spark的安装配置（spark-3.1.1-bin-hadoop2.7）
大数据
03-01 5235
配之前准备 将scala-2.12.13.tgz和spark-3.1.1-bin-hadoop2.7.tgz安装包上传到xshell 在xshell上解压压缩包 输入解压命令： tar -zxvf scala-2.12.13.tgz tar -zxvf spark-3.1.1-bin-hadoop2.7.tgz 配置 1、配置环境变量 vim .bashrc 在文件末尾添加如下内容： #spark export SPARK_HOME=/home/...
Spark 下载安装配置详解文档 (spark-2.4.8-bin-hadoop2.7.tgz)
GX_0824的博客
09-24 3453
解压tar -zxvf spark-2.4.8-bin-hadoop2.7.tgz -C /opt/moudel/官网地址：https://archive.apache.org/dist/spark/重命名mv spark-2.4.8-bin-hadoop2.7 spark-2.4.8。进入/usr/local/spark-2.4.8-bin-hadoop2.7/conf。上传spark-2.4.8-bin-hadoop2.7.tgz。进入/opt/moudel/spark-2.4.8/sbin。
【大数据开发运维解决方案】Hadoop2.7.6+Spark单机伪分布式安装
赵延东的一亩三分地
01-21 15万+
一、安装spark依赖的Scala 1.1 下载和解压缩Scala 下载地址： 点此下载 或则直接去官网挑选下载： 官网连接 在Linux服务器的opt目录下新建一个名为scala的文件夹，并将下载的压缩包上载上去： [root@hadoop opt]# cd /usr/ [root@hadoop usr]# mkdir scala [root@hadoop usr]# cd scala/ [ro...
Spark集群安装-基于hadoop集群
有一分热，发一分光。
05-13 5598
Spark集群从下载安装到测试，基于docker实现的伪分布式hadoop集群，手把手复现，详细教程，有手就行！
spark-3.2.4-bin-hadoop3.2-scala2.13 安装包
08-28
在本安装包“spark-3.2.4-bin-hadoop3.2-scala2.13”中，包含了用于运行Spark的核心组件以及依赖的Hadoop版本和Scala编程语言支持。以下是对这些关键组成部分的详细解释： 1. **Spark**: Spark的核心在于它的弹性...
spark-3.1.3-bin-without-hadoop.tgz
05-20
这意味着在部署时，你需要自行配置Hadoop环境，或者在不依赖Hadoop的环境中运行Spark。 Spark的核心特性包括支持批处理、交互式查询（通过Spark SQL）、实时流处理（通过Spark Streaming）以及机器学习（通过MLlib...
spark-3.5.1-bin-hadoop3.tgz
04-22
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点...
spark-3.0.0-bin-hadoop3.2
02-17
这个压缩包是为了在Windows操作系统下运行Spark而设计的，因此标签明确指出它是适用于Windows平台的包。 Spark 3.0.0是Spark发展中的一个重要里程碑，它引入了许多新特性和性能优化。以下是一些关键知识点： 1. **...
spark-3.4.1-bin-hadoop3.tgz - Spark 3.4.1 安装包(内置了Hadoop 3)
07-19
这是 Apache Spark 3.4.1 版本的二进制文件，专为与 Hadoop 3 配合使用而设计。Spark 是一种快速、通用的集群计算系统，用于大规模数据处理。这个文件包含了所有必要的组件，可以直接下载并在 Hadoop 3 环境中使用。
大数据毕业设计选题推荐-电影数据分析系统-数据可视化-Hive-Hadoop-Spark
IT研究室的博客
10-01 1282
近年来，电影产业呈现蓬勃发展态势。中国电影市场规模持续扩大，票房收入逐年攀升。据国家电影局统计，2019年中国电影总票房达642.66亿元，同比增长5.4%。尽管2020年受疫情影响，票房收入有所下降，但2021年电影市场迅速复苏，全年票房达472.58亿元。与此同时，观众对电影的品质要求不断提高，对影片类型、题材的偏好也呈现多元化趋势。在线票务平台和影评网站的普及，使得大量观影数据得以积累。这些数据不仅包含票房信息，还涵盖观众评分、评论文本等丰富内容。
大数据毕业设计选题推荐-NBA球员数据分析系统-Python数据可视化-Hive-Hadoop-Spark
最新发布
IT毕设梦工厂的博客
10-01 1513
NBA作为全球最具影响力的职业篮球联盟，其数据分析在近年来受到越来越多的关注。据统计，2022-2023赛季NBA常规赛共产生1230场比赛，涉及30支球队和数百名球员，每场比赛平均产生超过400个数据点。这些海量数据涵盖了得分、篮板、助攻等常规统计，以及进阶数据如真实命中率、使用率等。NBA官方数据显示，2022年有超过10亿粉丝通过各种渠道关注NBA赛事，其中数据分析内容的需求量年增长率超过20%。然而，面对如此庞大的数据资源，传统的数据处理方法难以应对其复杂性和动态性。
spark：一些概念如并行度、分区数、task，stage等
不负长风
09-28 478
在Spark中，动态分区（Dynamic Partitioning）是一种在写入数据到Hive表时，根据数据本身的属性来决定分区键的值，从而实现自动分区的功能。与静态分区需要预先定义分区键不同，动态分区使得分区更加灵活，能够适应不断变化的数据。Executor的数量和每个Executor的核数共同决定了Spark集群的总计算资源，从而影响实际的并行度。因此，分区数直接决定了并行度的上限。这是因为如果分区数小于并行度，即使设置的并行度很大，但是没有那么多分区数来运行，所以实际的并行度会比设置的并行度小。
【Linux 从基础到进阶】Spark 大数据计算引擎使用
weixin_39372311的博客
09-26 1814
Apache Spark 是一个强大的大数据计算引擎，提供了灵活的 API 和多种计算模型，适用于批处理、流处理和机器学习等多种场景。通过合理配置和优化，Spark 可以显著提升大数据处理的效率。在实践中，熟悉 Spark 的基本操作、内存管理和调度优化，可以帮助开发者充分发挥 Spark 的性能优势。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值