1、map
将集合中的每一个元素映射到某一个函数
方式一
val names = List("Alice", "Bob", "Nick")
println(names.map(_.toUpperCase))
方式二
def mapString(string: String) ={
string.toUpperCase
}
println(names.map(mapString(_)))
2、flatmap
flat即压扁,压平,扁平化,效果就是将集合中的每个元素的子元素映射到某个函数并返回新的集合
val names = List("Alice", "Bob", "Nick")
println(names.flatMap(_.toUpperCase()))
println(names.flatMap(x => x.toLowerCase))
println(names.flatMap(_.toLowerCase()))
val list2 = List("hadoop spark java scala java","Bob","hadoop spark java scala java")
println(list2.flatMap(_.split(" ")))
spark wordcount单词统计
sc.textFile(args(0)).flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_, 1).sortBy(_._2, false).saveAsTextFile(args(1))
3、翻译for表达式
//map 和 flatmap 方法很重要,因为它们经常被用来翻译for表达式
for(i <- 1 to 10) yield i * i
(1 to 10).map(i => i*i)
for (i <- 1 to 10;j <- 1 to 10) yield i * j
(1 to 10).flatMap(i => (1 to i).map(j => i*j ))