pandas 统计函数

本文介绍了Pandas库中几个关键的数据处理函数,包括nunique(计算唯一值数量)、unique(返回唯一值序列)、value_counts(计数每个唯一值的出现次数)、groupby(分组聚合)、pivot_table(数据透视表)以及stack和unstack(数据维度转换)。这些函数在数据分析和清洗中发挥着重要作用。
摘要由CSDN通过智能技术生成

01 nunique
number of unique,用于统计各列数据的唯一值个数,相当于SQL语句中的count(distinct **)用法。nunique()既适用于一维的Series也适用于二维的DataFrame,但一般用于Series较多,此时返回一个标量数值,表示该series中唯一值的个数。

例如,想统计前面数据表中开课的个数,则可用如下语句:

02 unique
nunique用于统计唯一值个数,而unique则用于统计唯一值结果序列。接收一个series类型作为输入,返回一个去重后的一维ndarray对象作为输出。

正因为各列的返回值是一个ndarray,而对于一个dataframe对象各列的唯一值ndarray长度可能不一致,此时无法重组成一个二维ndarray,从这个角度可以理解unique不适用于dataframe的原因。
仍以前述为例,想统计所有开课的课程名,则可用如下语句:

03 value_counts
如果说unique可以返回唯一值结果的话,那么value_counts则在其基础上进一步统计各唯一值出现的个数;类似的,unique返回一个无标签的一维ndarray作为结果,与之对应value_counts则返回一个有标签的一维series作为结果。

例如,在上述例子中,不仅想知道开课的课程名,还需了解各门课的选课人数,可用语句为:

如果说前面的三个函数主要适用于pandas中的一维数据结构series的话(nunique也可用于dataframe),那么接下来的这两个函数则是应用于二维dataframe。

04 groupby
groupby,顾名思义,是用于实现分组聚合统计的函数,与SQL中的group by逻辑类似。例如想统计前面成绩表中各门课的平均分,语句如下:

当然,groupby的强大之处在于,分组依据的字段可以不只一列。例如想统计各班每门课程的平均分,语句如下:

不只是分组依据可以用多列,聚合函数也可以是多个。例如想同时统计各班每门课程的选修人数和平均分,语句如下:

普通聚合函数mean和agg的用法区别是,前者适用于单一的聚合需求,例如对所有列求均值或对所有列求和等;而后者适用于差异化需求,例如A列求和、B列求最值、C列求均值等等。
另外,groupby的分组字段和聚合函数都还存在很多其他用法:分组依据可以是一个传入的序列(例如某个字段的一种变形),聚合函数agg内部的写法还有列表和元组等多种不同实现。例如,这里想以学生姓氏进行分组统计课程平均分,语句如下:

05 pivot_table
pivot_table是pandas中用于实现数据透视表功能的函数,与Excel中相关用法如出一辙。

何为数据透视表?数据透视表本质上仍然数据分组聚合的一种,只不过是以其中一列的唯一值结果作为行、另一列的唯一值结果作为列,然后对其中任意(行,列)取值坐标下的所有数值进行聚合统计,就好似完成了数据透视一般。
pivot_table函数参数列表如下:

在以上参数中,最重要的有4个:

values:用于透视统计的对象列名
index:透视后的行索引所在列名
columns:透视后的列索引所在列名
aggfunc:透视后的聚合函数,默认是求均值
这里仍然以求各班每门课程的平均分为例,则应用pivot_table实现此功能的语句为:

aggfunc默认是求均值函数’mean’

作为对比,再次给出用groupby实现相同功能的结果:

分组后如不加[‘成绩’]则也可返回dataframe结果

从结果可以发现,与用groupby进行分组统计的结果很是相近,不同的是groupby返回对象是2个维度,而pivot_table返回数据格式则更像是包含3个维度。

既然二者如此相似,那么是否可以实现相互转换呢?答案是肯定的!

06 stack 和 unstack

stack和unstack可以实现在如上两种数据结果中相互变换。从名字上直观理解:

stack用于堆栈,所以是将3维数据堆成2维
unstack用于解堆,所以可将2维数据解堆成3维
直接以前述分析结果为例,对pivot_table数据透视结果进行stack,结果如下:

pivot_table+stack=groupby

类似地,对groupby分组聚合结果进行unstack,结果如下:

groupby+unstack=pivot_table

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值