spark(Dataset+DataFrame)详细介绍

一、广播变量（broadcast）
广播变量存放在Executor上，所有Executor上的所有task公用广播变量，普通变量
存放在每个Executor上的每个task上
二、累加器（不常用）
例：val accum = sc.accumulator(0,“test_name”)
sc.parallelize(Array(1,2,3,4)).foreach(x=>accum+=x)
accum.value //调用
三、RDD分区设计
（1）分区大小限制2GB
（2）分区太少
不利于并发
更容易受数据倾斜影响
groupBy，reduceByKey，sortByKey等内存压力增大
（3）分区过多
shuffle开销越大
创建人去开销越大
（4）经验
每个分区大约128MB
如果分区小于但接近2000，则设置为大于2000
四、装载JSON数据源
（1）使用SparkContext计算平均数

val conf = new SparkConf().setMaster("local[*]").setAppName("test")
val sc = new SparkContext(conf)
val rdd = sc.textFile("file:///d:/aa.txt")
val arr = rdd.map(line=>Integer.parseInt(line.split(" ")(1))).toLocalInterator.toList.println(arr.su