官方Spark Programming Guide学习心得(V2.1.0)

原文地址：http://spark.apache.org/docs/latest/programming-guide.html

 

写的简单明了，实际中要注意的几点：

1、客户端版本库引用，开始不支持JDK7：

  
  

   
   spark引用
groupId 
   
   =
   
    org.apache.spark
artifactId 
   
   =
   
    spark
   
   -
   
   core_2.
   
   11
   
   
version 
   
   =
   
    
   
   2.1
   
   .
   
   0
   
   

如果需要hdfs，需要引用
groupId 
   
   =
   
    org.apache.hadoop
artifactId 
   
   =
   
    hadoop
   
   -
   
   client
version 
   
   =
   
    
   
   <
   
   your
   
   -
   
   hdfs
   
   -
   
   version
   
   >
  
  

 

2、初始化环境

  
  

   
   SparkConf conf 
   
   =
   
    
   
   new
   
    SparkConf().setAppName(appName).setMaster(master);
JavaSparkContext sc 
   
   =
   
    
   
   new
   
    JavaSparkContext(conf);
  
  

本地集成环境运行的话，要设置master为local

 

3、常用的RDD操作

Transformations

Actions

 

4、通过介绍reduceByKey来解释Shuffle operations

 

文档写的真棒！

推荐infoq上一篇文章，也非常好：

http://www.infoq.com/cn/articles/spark-core-rdd  理解Spark的核心RDD，摘要：

5、RDD，全称为Resilient Distributed Datasets，是一个容错的、并行的数据结构，可以让用户显式地将数据存储到磁盘和内存中，并能控制数据的分区。针对数据处理有几种常见模型，包括：Iterative Algorithms，Relational Queries，MapReduce，Stream Processing。例如Hadoop MapReduce采用了MapReduces模型，Storm则采用了Stream Processing模型。

 

6、图解RDD

本图来自Matei Zaharia撰写的论文An Architecture for Fast and General Data Processing on Large Clusters。图中，一个box代表一个RDD，一个带阴影的矩形框代表一个partition。

注意理解：map /groupBy/union/join的RDD操作的shuffle

 

7、推荐论文： An Architecture for Fast and General Data Processing on Large Clusters