scala笔记

最新推荐文章于 2024-06-05 17:15:47 发布

听见下雨的声音hb

最新推荐文章于 2024-06-05 17:15:47 发布

阅读量152

点赞数

分类专栏： scala spark 文章标签： scala

本文链接：https://blog.csdn.net/u010010664/article/details/79037565

版权

spark 同时被 2 个专栏收录

21 篇文章 0 订阅

订阅专栏

scala

1 篇文章 0 订阅

订阅专栏

// 映射反转的时候注意：如果v有重复，k会丢失，丢失顺序与插入顺序相反 即后插入的先丢失
for ( (k,v) <- scores) yield  (v,k)
// 利用zip函数可以将一元列表 (pair数组) 合并为二元列表
// 参考文章https://www.iteblog.com/archives/1225.html
  val women = List("Wilma", "Betty")
  val men = List("Fred", "Barney")
  val couples = women.zip(men)
// 这个方法只是简单的把传出的参数原封不动的再返回， 这看上去很怪异，它主要应用在高阶函数中，作为一个预定义的工具函数，从而避免开发人员反复书写一样的类似的函数
// https://blog.csdn.net/bluishglc/article/details/52806646#identity%E6%96%B9%E6%B3%95%E7%9A%84%E5%BA%94%E7%94%A8%E5%9C%BA%E6%99%AF
identity
// spark中利用treeMap进行key的排序
val temp_end = temp.rdd.map(x=>{
  val head = x.toString().split("\t")(0)
  val content = x.toString().split("\t")(1)
  val stg1=content.split(" ").toList
  val mp=stg1.map(_.split(":").toList)
  val mp1 = mp.map(mp => (mp(0).toInt, mp(1).toString)).toMap
  val treeMap = TreeMap(mp1.toArray:_*)
  val treeMapStr = treeMap.mkString(" ").replaceAll(" -> ", ":")
  head+" "+treeMapStr
})
//spark 查看每个分区的内容
val z = sc. parallelize ( List (1 ,2 ,3 ,4 ,5 ,6) , 2)
z.glom.collect