scala快速入门系列【函数式编程】

        本篇作为scala快速入门系列的第十六篇博客,为大家带来的是关于函数式编程的相关内容。
在这里插入图片描述


        

函数式编程

        我们将来使用Spark/Flink的大量业务代码都会使用到函数式编程。下面的这些操作是学习的重点

  • 遍历( foreach
  • 映射( map
  • 映射扁平化( flatmap
  • 过滤( filter
  • 是否存在( exists
  • 排序( sortedsortBysortWith
  • 分组( groupBy
  • 聚合计算( reduce
  • 折叠( fold

遍历|foreach

        之前,学习过了使用for表达式来遍历集合。我们接下来将学习scala的函数式编程,使用 foreach 方法来进行遍历、迭代。它可以让代码更加简洁。

方法签名
在这里插入图片描述
说明

foreach API 说明
参数 f: (A) ⇒ Unit 接收一个函数对象。函数的输入参数为集合的元素,返回值为空
返回值 Unit

foreach执行过程
在这里插入图片描述

示例

        有一个列表,包含以下元素1,2,3,4,请使用foreach方法遍历打印每个元素

参考代码

在这里插入图片描述

使用类型推断简化函数定义

        上述案例函数定义有点啰嗦,我们有更简洁的写法。因为使用foreach去迭代列表,而列表中的每个元素类型是确定的。

  • scala可以自动来推断出来集合中每个元素参数的类型
  • 创建函数时,可以省略其参数列表的类型

示例

  1. 有一个列表,包含以下元素1,2,3,4,请使用foreach方法遍历打印每个元素
  2. 使用类型推断简化函数定义

参考代码
在这里插入图片描述

使用下划线来简化函数定义

        当函数参数,只在函数体中出现一次,而且函数体没有嵌套调用时,可以使用下划线来简化函数定义。

示例

  1. 有一个列表,包含以下元素1,2,3,4,请使用foreach方法遍历打印每个元素
  2. 使用下划线简化函数定义

参考代码
在这里插入图片描述

  • 如果方法参数是函数,如果出现了下划线,scala编译器会自动将代码封装到一个函数中
  • 参数列表也是由scala编译器自动处理
            

映射|map

        集合的映射操作是将来在编写Spark/Flink用得最多的操作,是我们必须要掌握的掌握。

        因为进行数据计算的时候,就是一个将一种数据类型转换为另外一种数据类型的过程。

        map方法接收一个函数,将这个函数应用到每一个元素,返回一个新的列表。
在这里插入图片描述

用法

方法签名
在这里插入图片描述

方法解析

map方法 API 说明
泛型 [B] 指定map方法最终返回的集合泛型
参数 f: (A) ⇒ B 传入一个函数对象
该函数接收一个类型A(要转换的列表元素),返回值为类型B
返回值 TraversableOnce[B] B类型的集合

map方法解析
在这里插入图片描述
案例一

  1. 创建一个列表,包含元素1,2,3,4
  2. 对List中的每一个元素加1

参考代码
在这里插入图片描述
案例二

  1. 创建一个列表,包含元素1,2,3,4
  2. 使用下划线来定义函数,对List中的每一个元素加1

参考代码
在这里插入图片描述


扁平化映射 | flatMap

        扁平化映射也是将来用得非常多的操作,也是必须要掌握的。

定义

        可以把flatMap,理解为先map,然后再flatten
在这里插入图片描述

  • map是将列表中的元素转换为一个List
  • flatten 再将整个列表进行扁平化

方法签名
在这里插入图片描述
方法解析

flatmap方法 API 说明
泛型 【B】 最终要转换的集合元素类型
参数 f: (A) ⇒ GenTraversableOnce[B] 传入一个函数对象
函数的参数是集合的元素
函数的返回值是一个集合
返回值 TraversableOnce[B] B类型的集合

案例

案例说明

  1. 有一个包含了若干个文本行的列表:“hadoop hive spark flink flume”, “kudu hbase sqoop storm”
  2. 获取到文本行中的每一个单词,并将每一个单词都放到列表中

思路分析

在这里插入图片描述

步骤

  1. 使用map将文本行拆分成数组
  2. 再对数组进行扁平化

参考代码
在这里插入图片描述

使用flatMap简化操作
        
参考代码
在这里插入图片描述


过滤 | filter

        过滤符合一定条件的元素

在这里插入图片描述

定义

在这里插入图片描述

方法签名
在这里插入图片描述
方法解析

filter方法 API 说明
参数 p: (A) ⇒ Boolean 传入一个函数对象
接收一个集合类型的参数
返回布尔类型,满足条件返回true, 不满足返回false
返回值 TraversableOnce[A] 列表

在这里插入图片描述
案例

  1. 有一个数字列表,元素为:1,2,3,4,5,6,7,8,9
  2. 请过滤出所有的偶数

参考代码
在这里插入图片描述

排序

        在scala集合中,可以使用以下几种方式来进行排序。

  • sorted默认排序
  • sortBy指定字段排序
  • sortWith自定义排序

默认排序 | sorted

示例

  1. 定义一个列表,包含以下元素: 3, 1, 2, 9, 7
  2. 对列表进行升序排序

参考代码
在这里插入图片描述

指定字段排序 | sortBy

        根据传入的函数转换后,再进行排序。

方法声明
在这里插入图片描述
方法解析
在这里插入图片描述

示例

  1. 有一个列表,分别包含几下文本行:“01 hadoop”, “02 flume”, “03 hive”, “04 spark”
  2. 请按照单词字母进行排序

参考代码
在这里插入图片描述

自定义排序 | sortWith

        自定义排序,根据一个函数来进行自定义排序。

方法声明
在这里插入图片描述
方法解析

soerWith方法 API 说明
参数 lt: (A, A) ⇒ Boolean 传入一个比较大小的函数对象
接收两个集合类型的元素参数
返回两个元素大小,小于返回true,大于返回false
返回值 List[A] 返回排序后的列表

示例

  1. 有一个列表,包含以下元素:2,3,1,6,4,5
  2. 使用sortWith对列表进行降序排序

参考代码
在这里插入图片描述
使用下划线简写上述案例

参考代码
在这里插入图片描述


分组 | groupBy

        我们如果要将数据按照分组来进行统计分析,就需要使用到分组方法。

定义

        groupBy表示按照函数将列表分成不同的组。

方法签名
在这里插入图片描述
方法解析

groupBy方法 API 说明
泛型 [K] 分组字段的类型
参数 f: (A) ⇒ K 传入一个函数对象
接收集合元素类型的参数
返回一个K类型的key,这个key会用来进行分组,相同的key放在一组中
返回值 Map[K,List[A]] 返回一个映射,K为分组字段,List为这个分组字段对应的一组数据

groupBy执行过程分析
在这里插入图片描述
示例

  1. 有一个列表,包含了学生的姓名和性别:
    在这里插入图片描述
    2.请按照性别进行分组,统计不同性别的学生人数

步骤

  1. 定义一个元组列表来保存学生姓名和性别
  2. 按照性别进行分组
  3. 将分组后的Map转换为列表:List((“男” -> 2), (“女” -> 1))

参考代码
在这里插入图片描述


聚合操作

        聚合操作,可以将一个列表中的数据合并为一个。这种操作经常用来统计分析中。

聚合 | reduce

        reduce表示将列表,传入一个函数进行聚合计算。

定义

方法声明
在这里插入图片描述
方法解析

reduce方法 API 说明
泛型 [A1 >: A] (下界)A1必须是集合元素类型的子类
参数 op: (A1, A1) ⇒ A1 传入函数对象,用来不断进行聚合操作
第一个A1类型参数为:当前聚合后的变量
第二个A1类型参数为:当前要进行聚合的元素
返回值 A1 列表最终聚合为一个元素

reduce执行流程分析
在这里插入图片描述
[!NOTE]

  • reduce和reduceLeft效果一致,表示从左到右计算
  • reduceRight表示从右到左计算

案例

  1. 定义一个列表,包含以下元素:1,2,3,4,5,6,7,8,9,10
  2. 使用reduce计算所有元素的和

参考代码
在这里插入图片描述


折叠 | fold

        fold与reduce很像,但是多了一个指定初始化值参数。

定义

方法签名
在这里插入图片描述
方法解析

reduce方法 API 说明
泛型 [A1 >: A] (下界)A1必须是集合元素类型的子类
参数1 z:A1 初始值
参数2 op: (A1, A1) ⇒ A1 传入函数对象,用来不断进行折叠操作
第一个A1类型参数为:当前折叠后的变量
第二个A1类型参数为:当前要进行折叠的元素
返回值 A1 列表最终折叠为一个元素

[!NOTE]

  • fold和foldLet效果一致,表示从左往右计算
  • foldRight表示从右往左计算

案例

  1. 定义一个列表,包含以下元素:1,2,3,4,5,6,7,8,9,10
  2. 使用fold方法计算所有元素的和

参考代码

在这里插入图片描述


        好了,到这里本次的分享就结束了。对scala感兴趣的朋友可以持续关注哟~
        
        
在这里插入图片描述

发布了195 篇原创文章 · 获赞 1533 · 访问量 40万+
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 代码科技 设计师: Amelia_0503

分享到微信朋友圈

×

扫一扫,手机浏览