Spark集群模式
文章平均质量分 51
wzw199504
这个作者很懒,什么都没留下…
展开
-
Scala编程中的=>和<=区别
<=含义小于等于号=>的使用 1、当定义一个函数的时候,需要使用=>scala> val triple = (x: Int) => 3 * x //定义了一个函数triple: Int => Int = <function1>scala> def square(x: Int) = x * x //定义了一个方法square: (x: Int)Intscala> triple(3)res1:原创 2017-06-13 08:25:32 · 1227 阅读 · 0 评论 -
SparkContext的parallelize的参数作用以及MapValues
1、sparkContext的parallelize制作RDD的,是ParallelCollectionRDD,创建一个并行集合 2、val rdd = sc.parallelize(1 to 10) //创建RDD 例如sc.parallelize(0 until numMappers, numMappers) 创建并行集合的一个重要参数,是slices的数目(例子中是numMappers原创 2017-06-13 16:18:53 · 6593 阅读 · 0 评论