qq_41549462的博客

1、coalesce算子： def coalesce(分区个数 :Int , 是否走shuffle :Boolean = false) : RDD[T] 2、coalesce算子功能： coalesce算子一般用来合并分区（即减少分区个数，解决小文件分区过多问题），第二个参数决定是否走shuffle，默认是false；需要注意的是当需要增加分区个数时，必须将第二个参数设置为true才能实现

groupBy()算子函数签名： def groupBy(f : T =>K]) : RDD[K, Iterable[T]] 2、算子·功能： 1、将原来RDD中的元素按照groupBy中的函数f的执行结果进行分组 2、结果相同的元素进入同一个迭代器 3、groupBy算子存在shuffle 4、shuffle会落盘，元素会在不同分区中乱窜

记录一下今天遇到的Spark中的一个小技术点 Value类型-mapPartitionsWithIndex()带分区号 1、格式：mapPartitionsWithIndex(index:Int,f : Iterator[T] => Iterator[U] , pP : Boolean = false) : RDD[U] 2、功能：最前面多一个参数代表分区号，将原来RDD中的元素以分区为Iterator依次进入f函数，可以操作，使得输出结果加上分区号，方便看RDD内数据元素的分区 2、例子：创建一个RDD，使之带分区号输出 1.   package com.zhaoxuan.scalatest   2.   3.import org.apache.spark.rdd.RDD   4.import org.apache.spark.{SparkConf, SparkContext}   5.   6./**   7.  * 3、例子：创建一个RDD，使之带分区号输出   8.  * */   9.object MapPartitionsWithIndex {   10.  def main(args: Array[String]): Unit = {   11.    val conf :SparkConf = new SparkConf().setAppName("mapPartitionsWithIndex-Test").setMaster("local[*]")   12.    val sc : SparkContext= new SparkContext(conf)   13.    val rdd1 : RDD[Int] = sc.makeRDD(1 to 6,2)   14.    val rdd2 :RDD[(Int,Int)]= rdd1.mapPartitionsWithIndex((index,nums) => (nums.map((n) => (index,n))))   15.    rdd2.collect().foreach(println)   16.  }   17.}  

2.1 RDD的创建 创建RDD的三种方式 1、从集合中创建RDD 2、从外部存储文件创建RDD 3、从其他RDD创建RDD