常用spark的算子

val conf = new SparkConf()
conf.setAppName(“Matrix_Icon_Models20191215_”+date)
val sc = new SparkContext(conf)

val rdd =sc.textFile(reqdata,2000)
.filter(
line => (!line.split("\t")(0).equals(""))
)
.map(
_.split("\t")
)
.flatMap(
line => {
val cuid = line(0)
val os_sv = line(1)
val hp_mode=line(2)
val user_daily_stat = line(3)
val user_daily_stat_map = JsonUtil.json2Map(user_daily_stat)
for (key <- user_daily_stat_map) yield {
val sid = key._1
val sid_stat = key._2
cuid + “\t” + sid + “\t” + os_sv + “\t” + hp_mode + “\t” + sid_stat
}
}
)

---

for()yield{
} //返回的是数组，所以经常和flatMap一起使用，返回的rdd的元素就是数组中的一条数据。