qx199401的博客

SparkCore 1-RDD基本概念 RDD弹性分布式数据集Resilient Distributed Dataset 1-弹性：既可以存储在磁盘也可以存储在内存 2-分布式：分布式的存储 3-数据集：集合 不可变、可分区、里面的元素可并行计算 为什么需要RDD呢？ MR使用代码实现数据分析处理–缺点使用的大量的代码，复杂 Hive使用Hql实现数据分析，摆脱了Mr的繁琐的代码 Spark-Impala以内存为首的计算框架，将数据尽量放在内存中 传统的计算以MR为例的有大量的写磁盘，RDD是

课程介绍 Spark入门、环境搭建、WordCount Spark 概述 1- spark 历史 2009年诞生于美国加州大学伯克利分校AMP 实验室， 2014年2月，Spark 成为 Apache 的顶级项目 HADOOP复习回顾 HDFS：分布式存储系统 文件分区、分片：把大文件按 128M 切分成若干个小文件保存起来，一：便于存储，二：便于分布式计算 Yarn：资源调度系统 ​ 调度的方式： FIFO \ Fair \Capacity spark 与 hadoop 的区别 Hadoop