Spark核心知识点

1，RDD的原理：

1，RDD是Spark中最基本的运算模式，它只负责处理运算逻辑，不存储数据本身，通过转化换算子链式的去处理数据，转换算子在执行程序过程中是不加载数据的（算子：scala中的map,flatmap等）在Spark中称为算子，可以处理通过它处理数据。

2，在RDD中最终的数据打印时通过调用，行动算子从前一个hashNext进行调用，最终第一个RDD1去hashNext数据，所以RDD的就是一个封装的迭代器，就是它的真面目，一次次迭代到每个RDD中，当有多次计算时，计算的逻辑会封装在每个计算步骤所在的RDD中，这样就成为了一个个RDD封装包，里面的逻辑就是通过调用上一个HashNext来进行一层层向上寻找逻辑，而每个RDD中都封装了上一个运算的逻辑，这样当一个RDD运算逻辑挂掉后，可以通过下一个运算重新计数，保证了容错性，提高了安全性能。

2，RDD的分区原理：

1，RDD可以根据分片大小，和设置的local的核数大小进行分区并行计算，如local[1],为本地计算机的一个核数，也就是一个分区可以说，local[*]为本地计算机的所有核数，运行速度有所提高。