大数据学习笔记（六）-Spark的RDD

创建
RDD是Spark中的数据集，是只读的
RDD可以从集合，普通文件系统，HDFS文件系统中创建
scala创建RDD的方法

val lines1 = sc.parallelize(List("aa","bb"))
val lines2 = sc.textFile("file:///opt/spark/README.md")
val lines3 = sc.textFile("hdfs://nn.a:9000/afile")

Spark读取hdfs文件系统中的文件需要将hadoop etc目录下的core-site.xml和hdfs-site.xml拷贝到Spark的conf目录下。

Spark1.6.3的Scala API文档：https://spark.apache.org/docs/1.6.3/programming-guide.html

转化操作
对单一RDD常用转化操作
filter()：过滤
first():第一行
map():以集合的形式映射
mappartition():将节点上的数据集中运算
zip():生成键值对
flatmap():映射后将子集合展开
distinct():去重
对两个RDD常用转化操作
union():两个RDD合在一起，不去重
intersection():两个RDD相同的元素，去重
subtract():包含在A中，不包含在B中的元素，不去重
cartesian():两个RDD的笛卡儿积
行动操作
collect()：输出所有
take():输出指定个数
foreach():将方法用到每一个元素上
count():统计元素总量
countByValue():统计每一个元素的数量
reduce():对每一个元素进行逐个的合并
高级操作
Pair RDD
Key-Value形式存储
方便操作
有针对Key-Value的专用操作

reduceByKey():按照Key值合并Value，返回与输入的数据类型必须相同
combineByKey():按照Key值合并Value，允许返回与输入的数据类型不同

repartitionAndSortWithinPartitions():在repartition的同时进行sort操作，可提升执行效率。
Spark是分布式的计算框架，在单机程序开发的时候，使用static避免常量资源频繁创建，在Spark里再用static就不行了。这个时候可以使用spark的broadcast机制。

广播可以将变量发送到闭包中，被闭包使用。但是，广播还有一个作用是同步较大数据。比如你有一个IP库，可能有几G，在map操作中，依赖这个ip库。那么，可以通过广播将这个ip库传到闭包中，被并行的任务应用。广播通过两个方面提高数据共享效率：
1，集群中每个节点（物理机器）只有一个副本，默认的闭包是每个任务一个副本；
2，广播传输是通过BT下载模式实现的，也就是P2P下载，在集群多的情况下，可以极大的提高数据传输速率。广播变量修改后，不会反馈到其他节点。

创建广播

final Broadcast<WordFilterUtil> wordFilterBroadcast = sc.broadcast(WordFilterUtil.getInstance());

在算子中使用广播

if (!wordFilterBroadcast.getValue().isInBlackList(trimedWord)) {
  //doSomething  
}

使用广播时要注意，放入广播中的对象要是可序列化的，否则会报错