spark RDD

rdd的并行度：rdd的分区

rdd：解决了mapreduce的缺陷，即在并行计算阶段高效的进行数据共享
在物理存储中，每个分区指向一个存放于内存或者硬盘中的数据块（block），而这些数据块是独立的，他们可以被存放在系统的不同节点，rdd只是抽象的数据集合，分区内部并不会存储具体的数据，每个分区存有他在该rdd中的index，通过rdd的id和分区的index可以确定唯一的对应数据块的编号

虽然rdd内部存储的数据是只读的，但是可以修改并行计算单元的划分结构，也就是分区的数量

partitioner决定了rdd的分区方式，主流的有两种，hash和range。hash是根据数据的key进行散列分区，range是按照key的排序进行均匀分区

窄依赖就是父rdd的分区可以一一对应到子rdd的分区，宽依赖就是父rdd的每个分区可以被多个子rdd的分区使用

https://blog.csdn.net/houmou/article/details/52531205

命令行下如果需要绑定文件路径需要使用如下方式

val textFile = sc.textFile("file:///letv/data/spark-1.5.0-bin-hadoop2.6/README.md")

Spark 中的 RDD 就是一个不可变的分布式对象集合。每个 RDD 都被分为多个分区，这些
分区运行在集群中的不同节点上。
用户可以使用两种方法创建 RDD：读取一个外部数据集，或在驱动器程序里分发驱动器程
序中的对象集合（比如 list 和 set）。

转化操作会由一个 RDD 生成一个新的 RDD。
行动操作会对 RDD 计算出一个结果，并把结果返回到驱动器程序中，或把结
果存储到外部存储系统（如 HDFS）中。
转化操作返回的是 RDD，而行动操作返回的是其他的数据类型。

默认情况下，Spark 的 RDD 会在你每次对它们进行行动操作时重新计算。如果想
在多个行动操作中重用同一个 RDD，可以使用 RDD.persist() 让 Spark 把这个 RDD 缓存
下来。cache() 与使用默认存储级别调用 persist() 是一样的。

take() 获取了 RDD 中的少量元素。只有当你的整个数据集能在单台机器的内存中放得下
时，才能使用 collect()，因此，collect() 不能用在大规模数据集上。
每当我们调用一个新的行动操作时，整个 RDD 都会从头开始计算。要避
免这种低效的行为，用户可以将中间结果持久化，

持久化：节点各个分区分别持久化，节点宕机后，会重算，或者持久化两份，可以通过在存储级别的末尾加上“_2”来把持久化数据存为两份，持久化到了堆内存，如果缓存太多，会使用最近最少使用（LRU）的缓存
策略把最老的分区从内存中移除

参考：
http://colobu.com/2014/12/08/spark-quick-start/
http://colobu.com/2014/12/10/spark-monitoring/
http://colobu.com/2014/12/10/spark-configuration/#Spark_UI
http://www.ibm.com/developerworks/cn/opensource/os-cn-spark-build/index.html
http://cn.soulmachine.me/blog/20140130/
spark sql
http://blog.csdn.net/book_mmicky/article/details/39177041
http://blog.csdn.net/book_mmicky/article/details/39288715
http://blog.csdn.net/book_mmicky/article/details/39152727

spark 配置
http://blog.javachen.com/2015/06/07/spark-configuration.html
spark 排错
http://blog.csdn.net/lsshlsw/article/details/49155087