spark大小表join操作

spark大小表做join时为了避免数据倾斜并提高效率可以吧小表的rdd放到广播变量中，这样每个executor都会保存一份小文件的数据，避免shuffle

例子：

def main(args: Array[String]): Unit = {

    val conf = new SparkConf().setMaster("local").setAppName("aa")

    val sc = new SparkContext(conf)
//读小表
    val rdd1 = sc.textFile("E://data/dm_sfz.txt")
//处理
    val rdd2 = rdd1.map{line=>
      val s = line.split("\t")
      (s(0),s(3))
    }.collect()

//小表放到广播变量
    val dmsfz = sc.broadcast(rdd2)
//大表
    val data = sc.textFile("e://data/tj.csv")
//处理大表
    val d1 = data.map { line =>
//新建一个map
      var m:Map[String,String] = Map()
//小表存放到map中，方便取数
      for (sfz <- dmsfz.value){
        m += (sfz._1 -> sfz._2)
      }

      val ckzbh = info(12)
      val rkzbh = info(16)

//用大表中的字段作为key，从小表中取出value
      //map方法根据key取value的结果会是Some（value），加上.get可以去掉Some()，但是如果value为none就会报错，所以使用.getOrElse，当为none时取设置好的值
      val ckcity = m.get(ckzbh).getOrElse("")
      val rkcity = m.get(rkzbh).getOrElse("")

      (cph, (czdm, rksj, cksj, zlcs,ckzbh,ckcity,rkzbh,rkcity))
    }
    
    d1.foreach(println)
  }

}