spark
文章平均质量分 85
Seeker-Wu
这个作者很懒,什么都没留下…
展开
-
spark快速大数据分析笔记-1
Spark快速大数据分析第一章-笔记Spark是一个用来实现快速而通用的集群计算的平台。Spark的核心是一个对由很多计算任务组成的,运行在多个工作机器或者是一个计算集群上的应用进行调度,分发以及监控的计算引擎。Spark Core实现了Spark的基本功能,包含任务调度,内存管理,错误恢复,于存储系统,交互等模块。Spark Core中还有对弹性分布式数据集(RDD)的API定义。R原创 2017-12-31 20:58:54 · 433 阅读 · 0 评论 -
spark快速大数据分析笔记-2
Spark快速大数据分析第三章-笔记本章介绍Spark对数据的核心抽象--弹性分布式数据集RDD,其实就是分布式的元素集合。在Spark中,对数据的所有操作不外呼创建RDD,转化已有RDD以及调用RDD操作进行求值。Spark会自动将RDD中的数据分发到集群上,并将操作并行化执行。RDD基础Spark中的RDD就是一个不可变的分布式对象集合。每个RDD都被分为多个分区,这些分区运行在集原创 2018-01-21 17:06:01 · 1023 阅读 · 0 评论