python输出键值列表_Python 键值分组或分区数据

本文介绍了Python如何使用键值对数据进行分组和分区,详细讲解了groupby()函数的递归定义,并通过示例展示了如何对数据进行复杂归约,包括计算最大值、最小值、平均值和标准差等。同时,讨论了默认参数的陷阱以及如何避免,还提供了分组函数的迭代实现方法,并强调了类型注释在确保代码正确性方面的重要性。
摘要由CSDN通过智能技术生成

Python 使用键值分组或者分区数据,对分组后的数据做何种归约是没有限制的。数据中可能包含一些自变量或者因变量。可以通过自变量对数据进行分区,然后计算每个分区的各项汇总值,包括最大值、最小值、平均值以及标准差等。

对数据做复杂归约的关键是保存每组中的所有数据。Counter函数仅收集相同数据出现的频次,我们需要基于键值将原始数据转换为序列。

简而言之,每个5海里的箱子中都保存了该范围内路径段的所有数据,而不仅仅是出现次数。不妨将分区看作递归,或者defaultdict(list)对象的有状态应用,下面介绍groupby()函数的递归定义,它相对简单一些。

显然,groupby(C, key)函数对空集合C的返回值是空字典dict(),或者一般而言,空defaultdict(list)对象。

对于非空集合,首先处理集合头部C[0],然后递归处理集合尾部C[1:]。可以使用head, *tail = C来提取集合的头部和尾部,如下所示:

下面用dict[key(head)].append(head)将头部元素放入结果字典中,然后用groupby (tail, key)方法处理剩余数据。

如下所示创建函数:

内部函数group_into()实现了核心的递归定义部分,当集合collection为空时返回输入的字典参数。非空集合则分成头部和尾部,头部用于更新字典,尾部包含所有剩余元素,以递归方式更新字典。

类型标示区分了数据源类型S_和键类型K_。作为key参数的函数必须接收S_类型的参数,返回K_类型的值。前面很多例子都包含了从Leg对象中取出距离的函数。套用Callable[[S_], K_],数据源类型S_是Leg,键类型K_是float。

这里不能用Python的默认参数将上面的函数简化为简单函数,例如下面的实现方法不可取:

这样写的话,对group_by()函数的所有调用都将使用同一个defaultdict(list)对象。Python只创建一次默认值,用可变对象做默认值,其行为往往不符合开发者的预期。这里选用嵌套函数作为实现方案,而没有使用不可变的默认参数(例如None)结合复杂的逻辑判断来实现。用外层包装函数初始化内嵌函数的参数。

下面对距离数据进行分组:

首先定义了一个简单且可复用的匿名函数,将距离数据按照5海里进行分箱,然后利用该匿名函数对数据进行分组。

检查分箱后的数据,如下所示:

输出结果如下:

或者用迭代方法实现partition()函数,如下所示:

进行尾调用优化时,命令式实现的核心部分与递归定义是一致的。前面已经分析了这行代码,保证改写后的输出与之前一样。其余部分作为解决Python递归限制的常规编程实践,与之前的尾调用优化实现是一致的。

类型标示区分了数据源类型S_和键类型K_。请注意,defaultdict(list)的返回值要用Dict[K_, List[S_]]标示协助mypy工具确认代码正常运行,否则会返回错误信息:error: Need type annotation for variable。defaultdict可以包含任何类型组合,如果没有类型标示,将无法确认是否使用了正确的类型。

也可以把这里的类型标示写成注释的形式,如下所示:

低版本的pylint工具要求必须这样写,因此推荐使用1.8及之后的版本。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值