// 映射反转的时候注意:如果v有重复,k会丢失,丢失顺序与插入顺序相反 即后插入的先丢失
for ( (k,v) <- scores) yield (v,k)
// 利用zip函数可以将一元列表 (pair数组) 合并为二元列表
// 参考文章https://www.iteblog.com/archives/1225.html
val women = List("Wilma", "Betty")
val men = List("Fred", "Barney")
val couples = women.zip(men)
// 这个方法只是简单的把传出的参数原封不动的再返回, 这看上去很怪异,它主要应用在高阶函数中,作为一个预定义的工具函数,从而避免开发人员反复书写一样的类似的函数
// https://blog.csdn.net/bluishglc/article/details/52806646#identity%E6%96%B9%E6%B3%95%E7%9A%84%E5%BA%94%E7%94%A8%E5%9C%BA%E6%99%AF
identity
// spark中利用treeMap进行key的排序
val temp_end = temp.rdd.map(x=>{
val head = x.toString().split("\t")(0)
val content = x.toString().split("\t")(1)
val stg1=content.split(" ").toList
val mp=stg1.map(_.split(":").toList)
val mp1 = mp.map(mp => (mp(0).toInt, mp(1).toString)).toMap
val treeMap = TreeMap(mp1.toArray:_*)
val treeMapStr = treeMap.mkString(" ").replaceAll(" -> ", ":")
head+" "+treeMapStr
})
//spark 查看每个分区的内容
val z = sc. parallelize ( List (1 ,2 ,3 ,4 ,5 ,6) , 2)
z.glom.collect
scala笔记
最新推荐文章于 2024-06-05 17:15:47 发布