简洁之美 的专栏

原创 Spark 基础（一）

最近一直在学习Spark，Spark 是hadoop 的改进加强版，相比于hadoop，对迭代运算支持更好，加上内存运算，某些方面速度更快，在Spark中，将RDD作为其中的基本运算单元，也就是以rdd为基本数据结构，程序开发人员的操作都是在rdd上进行操作，rdd对于开发人员，逻辑上可以认为就是一个分布式存储的大数组，没个rdd下包含若干分区，这些不同的分区可以存储在同一台机器，也可以存储在不同