![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 92
大数据相关学习笔记
小小晓晓阳
自律及自由
展开
-
Flink入门学习(一)
Flink是分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架原创 2023-06-30 10:58:17 · 840 阅读 · 0 评论 -
spark笔记
Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎;Spark提供内存计算,将计算结果直接放在内存中,减少了迭代计算的IO开销,有更高效的运算效率。1.1 Spark核心模块1.2 基本概念:弹性分布式数据集的简称,分布式内存的一个抽象概念,提供了一种高度受限的共享内存模(可以看作一个不可变的分布式对象集合):有向无环图的简称,反映RDD之间的依赖关系:是运行在工作节点(WorkerNode)的一个进程,负责运行Task:用户编写的Spark应用程序:运行在Executor上的工作单元。原创 2023-03-29 20:07:15 · 935 阅读 · 0 评论