day12-高阶函数和装饰器

一、高阶函数

1、函数就是变量

python中定义函数其实就是定义一个类型是 function 的变量,函数名就是变量名

可以当作变量来赋值,赋的是什么类型的值,它就变成什么类型的变量

也可以作为序列的元素

例:

def func1():
    print('函数1')
a = 200
list1 = [a, 10, 20, 30, func1, func1()]
print(list1)
print(list1[-2]())

2、高阶函数

1) 实参高阶函数:参数是函数的函数就是实参高阶函数

实参高阶函数,函数作为实参

def func3(x):
    print(x(1, 2))

func3(lambda m, n: m+n)

系统提供的常见的实参高阶函数:

max、min、sorted 都是实参高阶函数,有一个参数key需要传一个函数;被传入的函数需要一个参数和一个返回值,这个参数指向的是序列中的元素,返回值是比较对象

例:

list2 = [19, 90, 78, 67]
def func3(item):
    # 个位数最大的元素
    # return item%10
    # 各位数的和的最大值
    sum1 = 0
    for x in str(item):
        sum1 += int(x)
    return sum1


print(max(list2, key=func3))    #78

# 求列表中个位数最大的元素
print(max(list2, key=lambda item: item % 10))   #19

#从小到大以age排序
print(sorted(students, key=lambda item: item['age']))
# [{'name': '张4', 'age': 16, 'score': 70}, {'name': '张3', 'age': 17, 'score': 90}, {'name': '张1', 'age': 18, 'score': 89}, {'name': '张2', 'age': 19, 'score': 85}]

map函数
map(函数,序列) -

​ 将序列的元素按函数指定转换,返回的是map对象(map就是容器型数据中的一种)需要一个参数和一个返回值,参数指的是序列中的元素,返回值就是替换原来的元素的新元素

例:

list1 = [1, 2, 3, 4]
print(list(map(lambda item: item + 1, list1)))  # [2, 3, 4, 5]

reduce(函数,序列,参数(默认序列第一个值))

​ 对序列中的元素按照函数提供的功能进行累计的操作(加减乘除等等运算方式自己给定) 函数需要两个参数只有两个元素,需要一个返回值

例:求总成绩

students = [
    {'name': '张1', 'age': 18, 'score': 89},
    {'name': '张2', 'age': 19, 'score': 85},
    {'name': '张3', 'age': 17, 'score': 90},
    {'name': '张4', 'age': 16, 'score': 70}
]

print(reduce(lambda a,b:a+b['score'],students,0))

a如果不给默认值会取序列的第一个值,在计算过程中a保存的是上一次循环a+b的值

2) 返回值高阶函数:就是返回值是函数的函数

def func1():
    def func2(x,y):
        return x+y
    return func2
print(func1()(100,200))   # 300

二、装饰器

1、装饰器的作用

在不修改函数的情况下给函数添加新的功能

2、什么是装饰器

装饰器的本质就是一个函数(这个函数是一个实参高阶函数也是返回值高阶函数)

无参装饰器的写法:
def 函数名1(函数名2):
def 函数名3(*args,**kwargs): #打包
新功能代码
result = 函数名2(*args,**kwargs) #拆包
return 函数名3

说明:
函数名1 - 装饰器名字,命名的时候和这个装饰器要添加的功能进行关联
函数名2 - 随便命名,指向被添加功能的函数;可以命名成fn
函数名3 - 随便命名,在原函数上添加完新的功能以后产生的新的函数
新功能代码 - 实现新加的功能的代码

*args和**kwargs同时存在的意义 - 不定参数

例:写一个装饰器将返回值是字符串的函数,返回值中的小写字母变成大写字母

def str_func2(fu):
    def str_func3(*args, **kwargs):
        # str1 = ''

        a = fu(*args, **kwargs)
        if type(a)==str:
            str1=a.upper()
            return str1
        else:
            return a
        # for i in a:
        #     if 'a' <= i <= 'z':
        #         str1 += chr(ord(i) - 32)
        #     else:
        #         str1 += i



    return str_func3


@str_func2       # 在需要装饰的函数前加上 @装饰器名 
def str_func1():
    return 'abc'


print(str_func1())
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: Apache Spark 2.4 中提供了许多解决复杂数据类型的内置函数高阶函数。其中,内置函数包括数组函数、结构体函数、日期时间函数、字符串函数等,可以方便地对复杂数据类型进行操作和处理。高阶函数则可以将函数作为参数传递给其他函数,实现更加灵活的数据处理。 例如,数组函数包括 explode、array_contains、array_distinct 等,可以对数组类型的数据进行拆分、查找、去重等操作。结构体函数包括 struct、getField、withField 等,可以对结构体类型的数据进行创建、获取、修改等操作。日期时间函数包括 year、month、day、hour、minute、second 等,可以对日期时间类型的数据进行提取和转换。字符串函数包括 concat、substring、trim、regexp_replace 等,可以对字符串类型的数据进行拼接、截取、去空格、替换等操作。 高阶函数包括 map、filter、reduce、fold 等,可以对数据集进行映射、过滤、聚合等操作。例如,map 函数可以将一个函数应用于数据集中的每个元素,返回一个新的数据集;filter 函数可以根据指定的条件过滤数据集中的元素,返回一个新的数据集;reduce 函数可以将数据集中的元素进行聚合,返回一个单一的值;fold 函数可以对数据集中的元素进行聚合,并指定一个初始值,返回一个单一的值。 总之,Apache Spark 2.4 中提供了丰富的内置函数高阶函数,可以方便地对复杂数据类型进行操作和处理,提高数据处理的效率和灵活性。 ### 回答2: Apache Spark是一款非常流行的大数据处理框架,而在该框架的最新版本Apache Spark 2.4中,主要更新了复杂数据类型的内置函数高阶函数,以帮助用户更加方便地进行数据分析和处理。 首先,Apache Spark 2.4 中加入了多个新的内置函数,如array_contains、map_from_arrays、map_keys、map_values和posexplode等,用于处理不同的复杂数据类型。 array_contains函数用于判断一个数组是否包含某个指定元素,它很容易地就能来检查一个数据集中是否具有某些特定的值。而map_from_arrays、map_keys和map_values等函数则用于对一个Map类型的数据集进行操作,例如将一些key数组转换成一个map,或者将一个map的值集返回成一个数组等。 此外,Apache Spark 2.4版本还增加了许多高阶函数高阶函数是使用其他函数作为参数的函数,因此通常具有更强的灵活性和适应性。一些常用的高阶函数,如aggregate、foldLeft、reduce、foreach和flatMap等,都能在Spark中得到很好的支持。 其中,aggregate函数用于将数据集中的每条记录与一个给定的初始值进行组合,然后再用一个给定的函数进行聚合。例如,它可以被用于求数据集中的最大值、最小值和平均值等等。 与此相似,foldLeft函数和reduce函数都可以用来对数据集中的每个元素进行操作,但它们的实现方式略有不同。foldLeft函数还可以提供一个序列化的初始值,并将结果与初始值合并以产生最终结果。而reduce函数则使用指定的函数将所有元素逐一聚合起来,得到一个最终的输出结果。 总之,Apache Spark 2.4中新增的这些内置函数高阶函数,为用户提供了丰富的功能和更加灵活的选项,使得Spark在处理各种类型的数据时更加方便和高效。 ### 回答3: Apache Spark 2.4是一个强大的大数据分析和处理引擎,它通过内置的函数库和高阶函数来解决复杂数据类型的处理问题。这些函数使得对非结构化数据或半结构化数据的查询和分析变得容易和高效。 Apache Spark 2.4内置的函数库支持各种复杂数据类型,包括结构化数据(如JSON或XML),图形数据(如社交网络)和空间数据(如地图数据)。对于每种数据类型,Spark都提供了一组专门的函数来解决常见的数据操作问题。例如,Spark提供了大量的JSON函数来解析和查询JSON数据,这些函数可以方便地提取某个字段或值,进行集合操作,或者转换为其他数据格式。 除了内置的函数库之外,Apache Spark 2.4还支持高阶函数高阶函数是指一个函数可以接受另一个函数作为参数或返回一个函数作为结果。这种函数式编程风格可以使得代码更加简洁和灵活。例如,Spark提供了flatMap、map和filter等高阶函数,可以方便地进行复杂的数据转换和筛选。此外,Spark还支持用户定义的函数(UDF),可以让用户根据自己的业务逻辑定义自己的函数,从而获得更高的灵活性和可定制性。 总体而言,Apache Spark 2.4提供了强大的内置函数高阶函数,可以方便地解决各种复杂数据类型的处理问题。这些函数可以提高数据分析和处理的效率,使得数据科学家和开发人员能够更快地分析和挖掘数据价值,实现更加智能和高效的数据处理系统。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值