既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
| — | — | — |
| 参数 | f: (A) ⇒ Unit | 接收一个函数对象,函数的输入参数为集合的元素,返回值为空 |
| 返回值 | Unit | 空 |
方法示例
scala> val list=List(1,2,3,4)
list: List[Int] = List(1, 2, 3, 4)
//定义一个匿名函数传入到foreach方法中;将f依次应用到集合的每个元素
scala> list.foreach((x:Int)=>println(x))
1
2
3
4
//匿名函数的输入参数的“类型”可以省略,由编译器自动推断
scala> list.foreach(x=>println(x))
1
2
3
4
//当函数有一个参数,只在函数体中出现一次,而且函数体没有嵌套调用时,可以使用下划线来简化函数定义
scala> list.foreach(println(_))
1
2
3
4
//最简写,可以直接给定println
scala> list.foreach(println)
1
2
3
4
2、映射 map
map映射是一个一对一的映射,作为参数传入集合中每个元素,经过map传入的函数转换后输出一个元素数据。
def map[B](f: (A) ⇒ B): TraversableOnce[B]
map方法 | API | 说明 |
---|---|---|
泛型 | [B] | 指定map方法最终返回的集合泛型 |
参数 | f: (A) ⇒ B | 传入一个函数对象,该函数接收一个类型A(要转换的列表元素),返回值为类型B |
返回值 | TraversableOnce[B] | B类型的集合 |
示例:
//定义一个list集合,实现把内部每一个元素做乘以10,生成一个新的list集合
scala> val list=List(1,2,3,4)
list: List[Int] = List(1, 2, 3, 4)
//定义一个匿名函数
scala> list.map((x:Int)=>x*10)
res2: List[Int] = List(10, 20, 30, 40)
//省略匿名函数参数类型
scala> list.map(x=>x*10)
res3: List[Int] = List(10, 20, 30, 40)
//最简写 用下划线
scala> list.map(_*10)
res4: List[Int] = List(10, 20, 30, 40)
3、扁平化映射 flatmap
flatmap是一个一对多的映射,作为参数传入函数的集合中的每个元素,通过flatmap的函数转化后,输出多个元素数据。
def flatMap[B](f: (A) ⇒ GenTraversableOnce[B]): TraversableOnce[B]
flatmap方法 | API | 说明 |
---|---|---|
泛型 | [B] | 最终要转换的集合元素类型 |
参数 | f: (A) ⇒ GenTraversableOnce[B] | 传入一个函数对象,函数的参数是集合的元素,函数的返回值是一个集合 |
返回值 | TraversableOnce[B] | B类型的集合 |
示例:
//定义一个List集合,每一个元素中就是一行数据,有很多个单词
scala> val list = List("hadoop hive spark flink", "hbase spark")
list: List[String] = List(hadoop hive spark flink, hbase spark)
scala> list.map(_.split(" "))
res2: List[Array[String]] = List(Array(hadoop, hive, spark, flink), Array(hbase, spark))
//flatten将多个集合的元素压到一起
scala> list.map(_.split(" ")).flatten
res3: List[String] = List(hadoop, hive, spark, flink, hbase, spark)
//等价于
//使用flatMap进行偏平化处理,获取得到所有的单词; flatMap该方法其本质是先进行了map 然后又调用了flatten
scala> list.flatMap(x => x.split(" "))
res24: List[String] = List(hadoop, hive, spark, flink, hbase, spark)
//简写
scala> list.flatMap(_.split(" "))
res25: List[String] = List(hadoop, hive, spark, flink, hbase, spark)
4、过滤 filter
过滤符合一定条件的元素
def filter(p: (A) ⇒ Boolean): TraversableOnce[A]
filter方法 | API | 说明 |
---|---|---|
参数 | p: (A) ⇒ Boolean | 传入一个函数对象,接收一个集合类型的参数,返回布尔类型,满足条件返回true, 不满足返回false |
返回值 | TraversableOnce[A] | 列表 |
//定义一个list集合
scala> val list=List(1, 2, 3, 4, 5, 6, 7, 8, 9, 10)
list: List[Int] = List(1, 2, 3, 4, 5, 6, 7, 8, 9, 10)
//过滤出集合中大于5的元素
scala> list.filter(x => x >5)
res5: List[Int] = List(6, 7, 8, 9, 10)
//把集合中大于5的元素取出来乘以10生成一个新的list集合
scala> list.filter(_ > 5).map(_ * 10)
res6: List[Int] = List(60, 70, 80, 90, 100)
5、排序 sort
在scala集合中,可以使用以下几种方式来进行排序
- sorted默认排序
- sortBy指定字段排序
- sortWith自定义排序
1、sorted默认排序
//定义一个List集合
scala> val list=List(5,1,2,4,3)
list: List[Int] = List(5, 1, 2, 4, 3)
//默认就是升序
scala> list.sorted
res30: List[Int] = List(1, 2, 3, 4, 5)
//生成新的List;原List不变
scala> list
res5: List[Int] = List(5, 1, 2, 4, 3)
2、sortBy指定字段排序
根据传入的函数转换后,再进行排序
def sortBy[B](f: (A) ⇒ B): List[A]
sortBy方法 | API | 说明 |
---|---|---|
泛型 | [B] | 按照什么类型来进行排序 |
参数 | f: (A) ⇒ B | 传入函数对象,接收一个集合类型的元素参数 返回B类型的元素进行排序 |
返回值 | List[A] | 返回排序后的列表 |
//定义一个List集合
scala> val list=List("1 hadoop","3 flink","2 spark")
list: List[String] = List(1 hadoop, 3 flink, 2 spark)
//按照单词的首字母进行排序
scala> list.sortBy(x=>x.split(" ")(1))
res33: List[String] = List(3 flink, 1 hadoop, 2 spark)
reverse可以反转
3、sortWith自定义排序
自定义排序,根据函数来定义排序规则
def sortWith(lt: (A, A) ⇒ Boolean): List[A]
sortWith方法 | API | 说明 |
---|---|---|
参数 | lt: (A, A) ⇒ Boolean | 传入一个比较大小的函数对象,接收两个集合类型的元素参数,返回两个元素大小,小于返回true,大于返回false |
返回值 | List[A] | 返回排序后的列表 |
scala> val list = List(2,3,1,6,4,5)
a: List[Int] = List(2, 3, 1, 6, 4, 5)
//降序
scala> list.sortWith((x, y)=>x>y)
res35: List[Int] = List(6, 5, 4, 3, 2, 1)
list5.sortWith(_ > _)
//升序
scala> list.sortWith((x,y)=>x<y)
res36: List[Int] = List(1, 2, 3, 4, 5, 6)
//字典序升序
List("Hive", "hive", "hadoop", "Spark").sortWith(_.compareTo(_) < 0)
6、分组 groupBy
首先集合的元素得是kv对的;如果要将数据按照某值分组来进行统计分析,就需要使用到分组方法groupBy表示按照函数将列表分成不同的组
def groupBy[K](f: (A) ⇒ K): Map[K, List[A]]
groupBy方法 | API | 说明 |
---|---|---|
泛型 | [K] | 分组字段的类型 |
参数 | f: (A) ⇒ K | 传入一个函数对象,接收集合元素类型的参数 返回一个K类型的key,这个key会用来进行分组,相同的key放在一组中 |
返回值 | Map[K, List[A]] | 返回一个映射,K为分组字段,List为这个分组字段对应的一组数据 |
scala> val a = List("张三"->"男", "李四"->"女", "王五"->"男")
a: List[(String, String)] = List((张三,男), (李四,女), (王五,男))
// 按照性别分组
scala> a.groupBy(_._2)
res0: scala.collection.immutable.Map[String,List[(String, String)]] = Map(男 -> List((张三,男), (王五,男)),
女 -> List((李四,女)))
// 将分组后的映射转换为性别/人数元组列表
scala> res0.map(x => x._1 -> x._2.size)
res3: scala.collection.immutable.Map[String,Int] = Map(男 -> 2, 女 -> 1)
//求每个省份有多少人
val b = List("张三"->("男", "北京"), "李四"->("女", "河北"), "王五"->("男", "北京"))
scala> b.groupBy(_._2._2).map(x => (x._1, x._2.size))
res14: scala.collection.immutable.Map[String,Int] = Map(北京 -> 2, 河北 -> 1)
7、聚合 reduce
reduce表示将列表,传入一个函数进行聚合计算
def reduce[A1 >: A](op: (A1, A1) ⇒ A1): A1
reduce方法 | API | 说明 |
---|---|---|
泛型 | [A1 >: A] | (下界)A1必须是集合元素类型的父类或本类型 |
参数 | op: (A1, A1) ⇒ A1 | 传入函数对象,用来不断进行聚合操作 第一个A1类型参数为当前聚合后的变量,第二个A1类型参数为当前要进行聚合的元素 |
返回值 | A1 | 列表最终聚合为一个元素 |
scala> val a = List(1, 2, 3, 4, 5, 6, 7, 8, 9, 10)
a: List[Int] = List(1, 2, 3, 4, 5, 6, 7, 8, 9, 10)
scala> a.reduce((x,y) => x + y)
res2: Int = 55
// 第一个下划线表示第一个参数,就是历史的聚合数据结果
// 第二个下划线表示第二个参数,就是当前要聚合的数据元素
scala> a.reduce(_ + _)
res3: Int = 55
// 与reduce一样,从左往右计算
scala> a.reduceLeft(_ + _)
res4: Int = 55
![img](https://i-blog.csdnimg.cn/blog_migrate/be7684c6f132f974ee98ff96e9d76e45.png)
![img](https://img-blog.csdnimg.cn/img_convert/c064b7db0674a529a919cb3525556a83.png)
![img](https://img-blog.csdnimg.cn/img_convert/2efdb0c56d0135eb881df10df2fdb532.png)
**既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!**
**由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新**
**[需要这份系统化资料的朋友,可以戳这里获取](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)**
s4: Int = 55
[外链图片转存中...(img-raT4Wh0i-1715522567093)]
[外链图片转存中...(img-ygZCxqSZ-1715522567093)]
[外链图片转存中...(img-aow747tn-1715522567093)]
**既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!**
**由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新**
**[需要这份系统化资料的朋友,可以戳这里获取](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)**