Spark3000门徒第七课Spark运行原理及RDD解密总结

今晚听了王家林老师的第七课Spark运行原理及RDD解密，课后作业是：spark基本原理，我的总结如下：

1 spark是分布式 基于内存 特别适合于迭代计算的计算框架

2 mapReduce就两个阶段map和reduce，而spark是不断地迭代计算，更加灵活更加强大，容易构造复杂算法。

3 spark不能取代hive，hive做数据仓库存储，spark sql只是取代hive的计算引擎

4 spark中间数据可以在内存也可以在磁盘

5 partition是一个数据集合

6 注意：初学者执行多个步骤要注意分步检验，不然不知哪里错了

7 var data = sc.textFile("/user") 不必写hdfs:// ，根据上下文判断

8 读文件得到HadoopRDD，去掉文件中索引，得到MapPartitionsRDD,这样一系列分片的数据分布在 不同的机器。

9 移动计算而不是移动数据

另外，王家林老师说出一个消息：

用java来写spark：人才多，与javaEE整合更容易，维护更容易，所以后面课程 所有例子 都是同时使用Scala和Java

后续课程可以参照新浪微博 王家林_DT大数据梦工厂：http://weibo.com/ilovepains

王家林  中国Spark第一人,微信公共号DT_Spark

 

转载于:https://www.cnblogs.com/haitianS/p/5115303.html