大数据
ydx115600497
这个作者很懒,什么都没留下…
展开
-
大数据学习-Spark前世今生
1、大数据体系结构概览: (1)注意Spark可代替Hadoop的哪些部分2、Spark整体架构 Spark Streaming:实时计算 GraphX:图计算 MLlib:机器学习3、Spark 与 MapReduce的计算模型比较 4、Spark SQL 与 Hive比较5、Spark Streaming 与 Strom 比较原创 2016-12-29 23:04:55 · 856 阅读 · 0 评论 -
Spark基本工作原理
1、分布式 2、主要基于内存(少数情况基于磁盘) 3、迭代式计算与MapReduce进行比较:总结:每一批节点上的每一批数据,实际上就是一个RDD,一个RDD是分布式的,所以数据都散落在一批节点上了,每个节点都存储了RDD的部分partition。原创 2017-01-20 22:35:37 · 405 阅读 · 0 评论