Spark目标是为基于工作集的应用(即多个并行操作重用中间结果的应用)提供抽象,同时保持MapReduce及其相关模型的优势特性,即自动容错、位置感知性调度和可伸缩性。
每个RDD有5个主要属性
* 一组分片(Partition):即数据集的基本组成单位。对于RDD来说,每个分片都会被一个计算任务处理,并决定并行计算的粒度。
一个分区肯定在一个节点上,一个节点上游很多分区
rdd1.map(_*10):即对这个rdd中每个分片都✖️10
* 一个计算每个分区的函数。每个RDD都会实现compute函数以达到这个目的。
* RDD之间依赖关系。RDD每次转换都会生成一个新的RDD,所以RDD之间就会形成类似于流水线一样的前后依赖关系。在部分分区数据丢失时,Spark可以通过这个依赖关系重新计算丢失的分区数据,而不是对RDD所有分区进行重新计算。
- 一个Partition,即RDD的分片函数。当前Spark中实现了2种类型的分片函数,一个是基于哈希的HashPartitioner,另一个是基于范围的RangePartitioner。只有基于key-value的RDD,才会有Partitioner,非key-value的RDD的Partitioner的值是None。Partitioner函数不但决定了RDD本身的分片数量,也决定了parent RDD Shuffle输出时的分片数量。
hash partition决定在哪个分区 - 一个列表,存储存取每个Partitioner的优先位置。对于一个HDFS文件来说,这个列表保存的就是每个Partitioner所有的块的位置。
最佳位置。
下载
rpm
* http://www.scala-lang.org/download/ 选择scala-2.12.4.rpm
* rpm -ivh scala-2.12.4.rpm
which scala可以看出版本等信息
启动:
正常启动hadoop后
单独启动master与worker
centos701:./start-master.sh
centos702与centos703:./start-slave.sh spark://centos701:7077
jps后发现一切正常
shell下启动
./bin/spark-shell – master spark://centos701:7077
spark-submit –class org.apache.spark.examples.SparkPi –master spark://centos701:7077 /bigdata/spark-1.6.1-bin-hadoop2.6/lib/spark-example-1.6.1-bin-hadoop2.6.0.jar 100
./spark-submit –class org.apache.spark.examples.SparkPi –driver-memory 512m –executor-memory 180m /usr/local/spark-1.6.1-bin-hadoop2.6/lib/spark-examples-1.6.1-hadoop2.6.0.jar 100
迭代100次计算pi的值。