---------【Spark】
皮皮的雅客
这个作者很懒,什么都没留下…
展开
-
Hadoop和Spark简单概述
文章目录Hadoop和Spark概述一. 简单说说Hadoop1. Hadoop的产生背景2. Hadoop核心技术二. 简单说说Spark1. Spark的官方定义2. Spark的核心技术3. Spark的内置项目4. Spark的生态体系5. Spark的特点6. Spark的用户和用途三. Hadoop和Spark的关系1. Spark的优势2. Spark对Hadoop的改进3. 明晰...原创 2018-12-22 20:11:47 · 8121 阅读 · 2 评论 -
Spark core(1)——RDD概述
文章目录RDD概述1. [RDD是什么](https://spark.apache.org/docs/latest/rdd-programming-guide.html)2. 为什么会产生RDDRDD的细节1. RDD的属性2. RDD的弹性RDD的特点1. RDD可在逻辑上进行分区2. RDD中的数据是只读的3. RDD之间具备依赖性4. 多次使用的RDD可以被缓存5. RDD支持Checkp...原创 2018-12-22 20:15:54 · 376 阅读 · 0 评论 -
Spark Core(2)——RDD编程模型
文章目录RDD编程模型Spark的计算抽象RDD相关概念间的关系RDD编程模型 在Spark中,RDD被表示为对象,通过对象上的方法调用来对RDD进行转换。经过一系列的transformations定义RDD之后,就可以调用actions触发RDD的计算,action可以是向应用程序返回结果(count, collect等),或者是向存储系统保存数据(saveAsTextFile等)。在Sp...原创 2018-12-22 20:17:14 · 508 阅读 · 0 评论