Spark大数据处理讲课笔记3.2 掌握RDD算子

转为转换算子

（三）扁平映射算子 - flatMap()
1、扁平映射算子功能
flatMap()算子与map()算子类似，但是每个传入给函数func的RDD元素会返回0到多个元素，最终会将返回的所有元素合并到一个RDD。
2、扁平映射算子案例
任务1、统计文件中单词个数
读取文件，生成RDD - rdd1，查看其内容和元素个数

对于rdd1按空格拆分，做映射，生成新RDD - rdd2

 对于rdd1按空格拆分，做扁平映射，生成新RDD - rdd3，有一个降维处理的效果

任务2、统计不规则二维列表元素个数

方法一、利用Scala来实现
利用列表的flatten函数
在net.huawei.rdd.day01包里创建Example02单例对象

方法二、利用Spark RDD来实现

• 利用flatMap算子
• 在net.huawei.rdd.day01包里创建Example03单例对象

 扁平化映射可以简化

 （四）按键归约算子 - reduceByKey()
1、按键归约算子功能
reduceByKey()算子的作用对像是元素为(key,value)形式（Scala元组）的RDD，使用该算子可以将相同key的元素聚集到一起，最终把所有相同key的元素合并成一个元素。该元素的key不变，value可以聚合成一个列表或者进行求和等操作。最终返回的RDD的元素类型和原有类型保持一致。
2、按键归约算子案例
任务1、在Spark Shell里计算学生总分
成绩表，包含四个字段（姓名、语文、数学、英语），只有三条记录
创建成绩列表scores，基于成绩列表创建rdd1，对rdd1按键归约得到rdd2，然后查看rdd2内容

任务2、在IDEA里计算学生总分

• 成绩表，包含四个字段（姓名、语文、数学、英语），只有三条记录

• 可能存在问题：在Windows下的IDEA中访问HDFS报错Could not locate executable null\bin\winutils.exe

• 下载对应版本的win