竹杖芒鞋轻胜马~

1.Spark运行环境：Spark是Scala语言写的，运行在JVM上，所以运行环境是Java7+。 如果使用Python API，需要安装Python 2.6+或者Python 3.4+。 Spark 和Scala对应的版本如下： Spark 1.6.2 – Scala 2.10 Spark 2.0.0 – Scala 2.112.Spark下载：下载地址官网：http://spar

0. RDD是什么？RDD是Spark中的抽象数据结构类型，任何数据在Spark中都被表示为RDD。从编程的角度来看，RDD可以简单看成是一个数组。和普通数组的区别是，RDD中的数据是分区存储的，这样不同分区的数据就可以分布在不同的机器上，同时可以被并行处理。因此，Spark应用程序所做的无非是把需要处理的数据转换为RDD，然后对RDD进行一系列的变换和操作从而得到结果。1.创建RDD（主要使用以下

0.aggregareval z = sc.parallelize(List(1,2,3,4,5,6), 2) /*//把一个序列分成两个切片。这地反我有些不明白，parallelize的第二个参数是把一个序列分成RDD的切片的个数。这里是2.*/ def myfunc(index: Int, iter: Iterator[(Int)]) : Iterator[String] = { iter.