目录
二、Spark Shell 中算子的操作 (转换算子,执行算子,控制算子)
2.1、Tansformation算子/函数 延迟执行 转换算子
2.3、控制算子 主要是为了对数据进行缓存 详细介绍:https://blog.csdn.net/qq_44472134/article/details/104166577
三、进入shell界面操作算子的两种进入方式(spark的三种模式安装 链接:https://blog.csdn.net/qq_44472134/article/details/104339585)
一、HADOOP和Spark生态圈
二、Spark Shell 中算子的操作 (转换算子,执行算子,控制算子)
2.1、Tansformation算子/函数 延迟执行 转换算子
1、map 窄依赖
2、filter 窄依赖
3、flatMap 窄依赖
4、coalesce (分区数,true) rdd7.partitions.size 查看rdd的分区数 val rdd5=rdd4.coalesce(3,true)
可以增加分区,可以减少分区,有
shuffle(一个父RDD到多个子RDD) 所以是宽依赖
5、repartition (分区数) 不管允不允许都会进行
shuffle val rdd5=rdd4.repartition(4)
可以增加分区,可以减少分区,有shuffle 所以是宽依赖 分区
6、groupByKey() RDD[String,Iterable(Int)]
7、reduceBykey(_+_) val rdd8=rdd7.reduceByKey(_+_) 宽依赖
8、sortBykey() 根据K排序,要求RDD 中必须是KV的,宽依赖
9、sortBy(_._2,false) 以value排序,进行倒序排序