静灵公子-CSDN博客

原创 Spark内核之美（三）：DAGScheduler的原理与源码分析

1、前言RDD具有延迟计算的特性，当操作是transformation算子的时候，并不执行操作，直到遇到action算子的时候才开始执行计算。Spark会根据Action操作之前一系列Transform操作的关联关系，生成一个DAG，在后续的操作中，对DAG进行Stage划分，生成Task并最终运行。表1Spark中支持的RDD转换（transformation算子）和动作（actio...

2019-04-07 20:03:27 745

原创 Spark内核之美（二）：RDD的五大主要特性与源码分析

摘要RDD，弹性分布式数据集，是spark的底层数据结构。RDD是一个容错的，可以被并行操作的数据集合。RDD的特点之一是分布式存储，它的好处就是数据存储在不同的节点上，当需要数据进行计算的时候可以在这些节点上并行操作。弹性表现在节点在存储RDD数据的时候，既可以存储在内存中，也可以存储在磁盘上，也可以两者结合使用。RDD还有个特点就是延迟计算，当是transformation算子的时候，并不...

2019-04-07 13:01:05 1006

原创 Spark内核之美（一）：RDD的原理与源码分析

Spark 是加州大学伯克利分校A岛。实验室（ Algorithms 、Machines and People Lab ）开发的通用大数据处理框架。Spark 生态系统也称为BDAS ，是伯克利APM 实验室所开发的，力图在算法（ Algorithms ）、机器（ Machines ）和人（ People ）三者之间通过大规模集成来展现大数据应用的一个开源平台。以下内容是对加州大学伯克利分校论...

2019-04-06 22:35:03 1624

flink资料分享

flink资料，是系统学习flink非常好的资料，值得分享！

2018-11-06

DataStreamAPI介绍与实战

DataStreamAPI介绍与实战，是学习大数据非常好的资料！

2018-11-06

Python核心编程（第3版）PDF高清晰完整中文版（无水印）

Python核心编程（第3版）PDF高清晰完整中文版，去除水印的高清版本，好东西，就是要分享！！！手工去除水印，很不错的资料！！！

2017-11-01

hadoop权威指南第三版(原版超清)

本书从Hadoop的缘起开始，由浅入深，结合理论和实践，全方位地介绍Hadoop这一高性能处理海量数据集的理想工具。全书共14章，3个附录，涉及的主题包括：Hadoop简介；MapReduce简介；Hadoop分布式文件系统；Hadoop的I/O、MapReduce应用程序开发；MapReduce的工作机制；MapReduce的类型和格式；MapReduce的特性；如何安装Hadoop集群，如何管理Hadoop；Pig简介；Hbase简介；ZooKeeper简介，最后还提供了丰富的案例分析

2017-09-26

FFT和IFFT的MATLAB实现代码

FFT和IFFT的MATLAB实现代码，自己编写的，谢谢！

2014-11-07

数字图像霍夫曼编码压缩编码MATLAB实现

2014-04-12

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人