Spark基础

VIP文章 已于 2023-10-07 16:35:30 修改
阅读量1.1k 收藏
点赞数
文章标签： spark 大数据 分布式
于 2023-10-07 16:33:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/berbai/article/details/133637762
版权

一、spark基础

1、为什么使用Spark

Ⅰ、MapReduce编程模型的局限性

(1) 繁杂

只有Map和Reduce两个操作，复杂的逻辑需要大量的样板代码

(2) 处理效率低

Map中间结果写磁盘，Reduce写HDFS，多个Map通过HDFS交换数据 任务调度与启动开销大

(3) 不适合迭代处理、交互式处理和流式处理

Ⅱ、Spark是类Hadoop MapReduce的通用并行框架

(1) Job中间输出结果可以保存在内存，不再需要读写HDFS

(2) 比MapReduce平均快10倍以上

Ⅲ、Spark  VS Hadoop

Hadoop

Spark

类型

分布式基础平台，包含计算、存储、调度

分布式计算工具

场景

大规模数据集上的批处理

迭代计算、交互式计算、流计算
最低0.47元/天 解锁文章
罗刹海是市式市世视士
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Spark基础教程
01-24
主要介绍Spark RDD的相关入门知识以及编程模型，附带介绍了Spark作业调度等一些底层工作机制的实现原理
spark基础知识
08-11
spark基础知识，个人分享，大家一起学习
spark基础知识整理
01-02
spark基础知识思维导图整理，包括SparkCore和SparkSQL
spark基础概念
09-01
Spark的核心思想是通过一种可并行操作且有容错机制的弹性分布式数据集RDD(Resilient Distributed Dataset)以减少磁盘以及网络IO开销。RDD是一个能并行的数据结构，可以让用户显式地将数据存储到磁盘或内存中，并能...
Spark Streaming笔记总结（保姆级）
哇咔咔哇咔的博客
05-10 716
Spark Streaming保姆级笔记总结
【Redis7】10大数据类型之HyperLogLog类型
云泽野の编程日记
05-10 220
HyperLogLog是基于概率的数据结构，能够以极高的效率和极小的内存占用（固定12KB）来近似计算。个不同元素的基数，特别适合处理大规模数据集的统计计数，如网站独立访客（UV）计数等场景。类型,因为 HyperLogLog 只会根据输入元素来计算基数，而不会储存输入元素本身.Redis的HyperLogLog是一种高级数据结构，专门用于基数估算。
《大数据分析-数据仓库项目实战》学习笔记
LANXIAMAO的博客
05-09 901
文章部分内容参考《大数据分析-数据仓库项目实战》一书，仅供学习，喜欢可购买正版书籍，如有不妥请联系删除。
kde巡检文档
王羲之的之的博客
05-13 34
此脚本采用python2.7。
易图讯科技三维电子沙盘系统
QQ_2801061513的博客
05-12 198
深圳易图讯科技有限公司（www.3dgis.top）创立于2013年，专注二三维地理信息、三维电子沙盘、电子地图、虚拟现实、大数据、物联网和人工智能技术研发，获得20多项软件著作权和软件检测报告，成功交付并实施了1000多个项目，广泛应用于部队、武警、武装部、公安、应急、消防、安全生产、森林防火、石油石化、科研教育、国防动员、人民防空等行业。三维地理信息电子沙盘集多项先进技术于一体，为军事、公安、应急、消防、森林防火、人民武装、国防动员、人民防空等领域提供强大决策支持和指挥调度能力。
要对数据源和同步后的数据进行数据量的对比
smile6868的博客
05-16 260
4. **数据对比**：在 Flink 中创建两个表，一个连接到数据源，另一个连接到目标系统，然后使用 Flink SQL 来比较这两个表的数据。3. **数据同步**：使用 Flink SQL CDC Connectors 或其他合适的连接器来同步数据源的数据到目标系统。5. **执行 Flink SQL**：在 Flink SQL 客户端或 Flink Web UI 提交上述 SQL 脚本。2. **数据同步**：如果你使用的是 Flink CDC Connectors，它会自动处理数据的增量同步。
RabbitMQ介绍
yuanlaile的博客
05-11 541
RabbitMQ 是一个实现了高级消息队列协议（AMQP）的开源消息代理中间件。 俗称消息队列。 RabbitMQ在企业中有非常广泛的应用，在中工作可以处理复杂的业务逻辑。
大数据概述
最新发布
JAZJD的博客
05-16 605
从最初的存储和处理海量数据，到后来的数据分析和可视化，再到如今的机器学习和人工智能驱动的大数据应用，大数据技术日新月异，不断突破创新。在信息科技方面，计算机硬件性能的提升、存储技术的进步、网络传输速度的加快等，为海量数据的产生、收集和处理提供了技术支撑。：大数据往往包含多种类型的数据，如结构化数据（数据库中的表格数据）、半结构化数据（XML、JSON等格式）、以及非结构化数据（文本、图像、视频等）。随着技术的进步和应用的深入，大数据必将释放出更大的价值，为社会带来更多的创新和变革。
测试环境搭建整套大数据系统（十六：超级大文件处理遇到的问题）
weixin_43446246的博客
05-10 367
日志：1/1 local-dirs usable space is below configured utilization percentage/no more usable space [ /opt/hadoop-3.2.4/data/nm-local-dir : used space above threshold of 90.0% ];
第十四章大数据与数据科学练习
weixin_48277834的博客
05-12 971
A：预测性分析和规范性分析B：描述性分析和预测性分析C：描述性分析和规范性分析D：预见性分析和规范性分析正确答案：A 你的答案：A解析：389页第四点及下方图表，数据科学的两种分析模式分别是预测性分析和规范性分析。
技术前沿 |【SIMD并行计算与分布式算法：前沿技术的深度解析】
尺小闹的博客
05-15 1006
随着技术的不断进步和创新，SIMD并行计算和分布式算法将在更多领域得到应用。例如，在物联网、边缘计算、区块链等新兴领域中，SIMD并行计算和分布式算法将发挥重要作用，推动这些领域的快速发展。综上所述，SIMD并行计算和分布式算法作为前沿技术，在提升数据处理和计算能力方面具有重要作用。随着信息技术的不断发展，这两种技术将在更多领域得到应用，并推动社会进步和科技发展。
28、Flink 为管理状态自定义序列化
猫猫爱吃小鱼粮
05-13 853
Flink 为管理状态自定义序列化
rocketmq的顺序消息开发注意事项
silver9886的专栏
05-14 185
rokcetmq和kafka一样，当顺序消息写入的多个队列中后，如果是顺序消息，当前的队列的队头一直消费失败的时候，是会阻塞当前队列的全部的后续消息的。MaxReconsumeTimes进行设置。之前就是因为没有进行设置，导致了队头阻塞问题。
大数据项目中的拉链表（hadoop，hive）
m0_62008384的博客
05-13 592
在原始数据增加两个新字段 起始时间（有效时间：什么时候导入的数据的时间），结束时间（默认的结束时间为9999-99-99）操作指令： select if（表名.字段 is null，结束时间，现在时间-1） as end_time。处理时间是处理昨天的数据 因为是今天处理昨天的时间 有效结束时间应该是昨天。如果有效时间为9999-99-99 说明当前数据为最新数据。数据有变化会显示新数据，没有则显示null 数据没有变化。拉链表，可实现数据快照，可以将历史和最新数据保存在一起。
HUE工具介绍使用
Ashenlex的博客
05-13 211
HUE是CDH提供一个hive和hdfs的操作工具，在hue中编写了hiveSQl也可以操作hdfs的文件hdfs的web访问端口hdfs://hadoop01:8020 hdfs的程序访问端口进入hue。
spark基础学习思路
09-13
对于学习Spark的基础知识，我建议按照以下思路进行： 1. 理解分布式计算概念：Spark是一个分布式计算框架，因此了解分布式计算的基本概念是很重要的。你可以学习分布式计算的原理、架构和常用的算法。 2. 学习...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值