- 博客(3)
- 收藏
- 关注
RSS订阅转载 Spark 自定义累加变量(Accmulator)AccumulatorParam
1、创建一个累加变量public <T> Accumulator<T> accumulator(T initialValue, AccumulatorParam<T> param)Create an Accumulator variable of a given type, which tasks can "add" values to using the += method. Only the drive
2020-06-21 19:40:56
772
转载 SparkJavaAPI例子
1、join 的使用将一组数据转化为RDD后，分别创造出两个PairRDD，然后再对两个PairRDD进行归约（即合并相同Key对应的Value），元素集合1: {(1, 1), (2, 4), (3, 9), (4, 16), (5, 25)}元素集合2: {(1, A), (2, D), (3, I), (4, P), (5, Y)}集合1和集合2进行join:{(1, (1, A)), (2, (4, D)), (3, (9, I)), (4, (16, P)), (5, (25.
2020-06-20 21:12:39
512
转载 SparkConf和SparkContext
任何Spark程序都是SparkContext开始的，SparkContext的初始化需要一个SparkConf对象，SparkConf包含了Spark集群配置的各种参数。初始化后，就可以使用SparkContext对象所包含的各种方法来创建和操作RDD和共享变量。Scala： 1 2 3 4 valconf=newSparkConf().setMaster("master").setAppName("appName") val...
2020-06-13 19:28:41
2716
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人