Python | Pandas | 聚合函数groupby用法及应用实例

最新推荐文章于 2024-05-30 07:32:10 发布
最新推荐文章于 2024-05-30 07:32:10 发布
阅读量1.9k 收藏 4
点赞数
分类专栏： Pandas 文章标签： python pandas 数据分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MissMango0820/article/details/121436223
版权

本文主要介绍如何使用pandas中的聚合函数groupby的用法并给出其应用实例
此处谢谢同学兼朋友杨博 “赞助” 的原始数据xlsx文件
持续更新中
如果你有在本文看到对你有用的知识点，麻烦帮忙点赞关注收藏一键三连～ 😁
Last Modified Date: 2021/11/20

Python | Pandas | 聚合函数groupby用法及应用实例

本文为讲解聚合函数而所使用的原始数据可在此处找到

聚合函数

意义

使用映射器或按Series列对DataFrame或Series进行分组。
group分组操作涉及拆分对象，应用功能以及组合结果的某种组合。这可用于对大量数据进行分组并在这些组上进行计算操作。

语法

def groupby(
        self,
        by=None,
        axis=0,
        level=None,
        as_index=True,
        sort=True,
        group_keys=True,
        squeeze=False,
        observed=False,
        **kwargs
    )
作用
参数- by:
映射，功能，标签或标签列表用于确定分组依据的分组。如果by是函数，则在对象索引的每个值上调用它。如果通过了dict或Series，则将使用Series或dict VALUES来确定组（将Series的值首先对齐；请参见.align()方法）。如果传递了ndarray，则按原样使用这些值来确定组。标签或标签列表可以按中的列传递给分组self。注意，元组被解释为（单个）key。

- axis:
{0或’index’，1或’columns’}，默认0。沿rows (0)或columns (1)拆分。

- level:
int，level名称或此类的序列，默认为None。如果axis是MultiIndex（分层），则按一个或多个特定级别分组。

- as_index:
bool，默认为True。对于聚合输出，返回带有组标签的对象作为索引。仅与DataFrame输入有关。- as_index = False实际上是“ SQL风格”的分组输出。

- sort:
布尔值，默认为True。排序组键。关闭此功能可获得更好的性能。请注意，这不会影响每个组中观察的顺序。Groupby保留每个组中行的顺序。
如果不想历经groupby函数后结果的索引排序乱掉[与原始数据不一致], 可以sort=False，参见此处。

- group_keys:
布尔值，默认为True。调用apply时，将组键添加到索引以识别片段。

- squeeze:
布尔值，默认为False。如果可能，请减小返回类型的维数，否则返回一致的类型。

- observed:
布尔值，默认为False。仅当任何groupers为Categoricals时才适用。如果为True：仅显示分类groupers的观测值。如果为False：显示分类groupers的所有值。

- **kwargs:
可选，仅接受关键字参数"mutated"并传递给groupby。
返回值DataFrameGroupBy或SeriesGroupBy，依赖于调用对象，并返回包含有关组信息的groupby对象。

聚合

单索引

此处总结单索引条件下对单列或多列进行聚合运算：

单列

多列

相同运算
不同运算

多索引聚合

此处总结多索引条件下对单列或多列进行聚合运算：

单列

此处为多索引条件下对单列进行单种或多种聚合运算：

单运算

举例，此处对双索引 ‘province’, ‘uid’ 条件下对 ‘docid’ 列进行 ‘count‘ 运算

# data = data.groupby(['province', 'uid']).agg({'docid': ['count']})
# the same with
data = data.groupby(['province', 'uid']).agg({'docid': 'count'})
'''
print(data)
                    docid
province uid             
云南省      125825.0       1
         6331762.0      4
         6724869.0      2
         7088853.0      2
         7119058.0      2
...                   ...
黑龙江省     7213860.0      6
         7213955.0      2
         7216948.0      4
         7216960.0      6
         7216985.0      4

[278 rows x 1 columns]

############################################################
print(data.index.names)
['province', 'uid']

print(data.index)
MultiIndex([( '云南省',  125825.0),
            ( '云南省', 6331762.0),
            ( '云南省', 6724869.0),
            ( '云南省', 7088853.0),
            ( '云南省', 7119058.0),
            ( '云南省', 7119448.0),
            ( '云南省', 7166576.0),
            ( '云南省', 7190777.0),
            ( '云南省', 7208339.0),
            ( '云南省', 7213895.0),
            ...
            ('黑龙江省', 7080483.0),
            ('黑龙江省', 7185586.0),
            ('黑龙江省', 7203299.0),
            ('黑龙江省', 7208440.0),
            ('黑龙江省', 7213096.0),
            ('黑龙江省', 7213860.0),
            ('黑龙江省', 7213955.0),
            ('黑龙江省', 7216948.0),
            ('黑龙江省', 7216960.0),
            ('黑龙江省', 7216985.0)],
           names=['province', 'uid'], length=278)

############################################################
print(data.columns)
Index(['docid'], dtype='object')
'''
等价写法
agg
data = data.groupby(['province', 'uid'])['docid'].agg('count')
data = data.groupby(['province', 'uid']).agg('count')['docid']
function itself
data = data.groupby(['province', 'uid'])['docid'].count()
data = data.groupby(['province', 'uid']).count()['docid']
重命名

举例，此处对双索引 ‘province’, ‘uid’ 条件下对 ‘docid’ 列进行 ‘count‘ 运算，并对被运算列进行重命名

data = data.groupby(['province', 'uid']).agg(rename=('docid','count'))
'''
print(data)
                    rename
province uid              
云南省     125825.0       1
         6331762.0       4
         6724869.0       2
         7088853.0       2
         7119058.0       2
...                    ...
黑龙江省     7213860.0       6
         7213955.0       2
         7216948.0       4
         7216960.0       6
         7216985.0       4

[278 rows x 1 columns]

############################################################
print(data.columns)
Index(['rename'], dtype='object')
'''

多运算

多列

此处为多索引条件下对多列进行单种或多种聚合运算：

单运算
多运算
相同运算

举例，此处对双索引 ‘province’, ‘uid’ 条件下对 ‘docid’ 和 ‘score’ 两列进行 ‘count‘ 和 ‘sum’ 运算

data = data.groupby(['province', 'uid'])[['docid', 'score']].agg(['count', 'sum'])
'''
print(data)
                   docid                 score     
                   count             sum count  sum
province uid                                       
云南省      125825.0      1   7216961651613     0  0.0
         6331762.0     4    467844396052     1  1.4
         6724869.0     2    632156392222     0  0.0
         7088853.0     2   4833563750634     1  1.5
         7119058.0     2  33432144084238     1  1.5
...                  ...             ...   ...  ...
黑龙江省     7213860.0     6  18101440078266     1  1.5
         7213955.0     2    233439461830     1  1.1
         7216948.0     4  29264485995264     1  1.5
         7216960.0     6  21098298076700     2  2.0
         7216985.0     4   1664886146076     1  1.8

[278 rows x 4 columns]

############################################################
print(data.index.names)
['province', 'uid']

print(data.index)
MultiIndex([( '云南省',  125825.0),
            ( '云南省', 6331762.0),
            ( '云南省', 6724869.0),
            ( '云南省', 7088853.0),
            ( '云南省', 7119058.0),
            ( '云南省', 7119448.0),
            ( '云南省', 7166576.0),
            ( '云南省', 7190777.0),
            ( '云南省', 7208339.0),
            ( '云南省', 7213895.0),
            ...
            ('黑龙江省', 7080483.0),
            ('黑龙江省', 7185586.0),
            ('黑龙江省', 7203299.0),
            ('黑龙江省', 7208440.0),
            ('黑龙江省', 7213096.0),
            ('黑龙江省', 7213860.0),
            ('黑龙江省', 7213955.0),
            ('黑龙江省', 7216948.0),
            ('黑龙江省', 7216960.0),
            ('黑龙江省', 7216985.0)],
           names=['province', 'uid'], length=278)

############################################################
print(data.columns)
MultiIndex([('docid', 'count'),
            ('docid',   'sum'),
            ('score', 'count'),
            ('score',   'sum')],
           )
'''
不同运算

举例，此处对双索引 ‘province’, ‘uid’ 条件下对 ‘docid’ 和 ‘score’ 两列分别进行 ‘count‘和‘sum’ 运算

data = data.groupby(['province', 'uid']).agg({'docid':'count', 'score': 'sum'})
'''
print(data)
                    docid  score
province uid                    
云南省      125825.0       1    0.0
         6331762.0      4    1.4
         6724869.0      2    0.0
         7088853.0      2    1.5
         7119058.0      2    1.5
...                   ...    ...
黑龙江省     7213860.0      6    1.5
         7213955.0      2    1.1
         7216948.0      4    1.5
         7216960.0      6    2.0
         7216985.0      4    1.8

[278 rows x 2 columns]

############################################################
print(data.index.names)
['province', 'uid']

print(data.index)
MultiIndex([( '云南省',  125825.0),
            ( '云南省', 6331762.0),
            ( '云南省', 6724869.0),
            ( '云南省', 7088853.0),
            ( '云南省', 7119058.0),
            ( '云南省', 7119448.0),
            ( '云南省', 7166576.0),
            ( '云南省', 7190777.0),
            ( '云南省', 7208339.0),
            ( '云南省', 7213895.0),
            ...
            ('黑龙江省', 7080483.0),
            ('黑龙江省', 7185586.0),
            ('黑龙江省', 7203299.0),
            ('黑龙江省', 7208440.0),
            ('黑龙江省', 7213096.0),
            ('黑龙江省', 7213860.0),
            ('黑龙江省', 7213955.0),
            ('黑龙江省', 7216948.0),
            ('黑龙江省', 7216960.0),
            ('黑龙江省', 7216985.0)],
           names=['province', 'uid'], length=278)

############################################################
print(data.columns)
Index(['docid', 'score'], dtype='object')
'''

参考文章

聚合函数

Python pandas.DataFrame.groupby函数方法的使用
Dataframe GroupBy的顺序错误

聚合

单索引聚合

Pandas的基础操作：常用函数（求均值，方差，求和，众数，统计元素个数等）／分组运算groupby操作／透视表

多索引聚合

Pandas中实现聚合统计，有几种方法？

MissMango0820
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python库 | pandas-1.3.5-cp38-cp38-win32.whl
05-08
资源分类：Python库 所属语言：Python 资源全名：pandas-1.3.5-cp38-cp38-win32.whl 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
Python库 | pandas_alive-0.1.5.tar.gz
03-09
python库。 资源全名：pandas_alive-0.1.5.tar.gz
Python数据分析中Groupby用法之通过字典或Series进行分组的实例
09-21
下面小编就为大家分享一篇Python数据分析中Groupby用法之通过字典或Series进行分组的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Python库 | pandas-1.0.1.tar.gz
03-07
python库。 资源全名：pandas-1.0.1.tar.gz
【Python】Pandas Groupby操作的25个示例
小哲的博客
03-24 4542
首先，模拟生成10个样本数据： 在pandas中，实现分组操作的代码很简单，仅需一行代码，在这里，将上面的数据集按照字段进行划分： 这个生成的是啥呢？对data进行了groupby后发生了什么？ipython所返回的结果是其内存地址，并不利于直观地理解，为了看看group内部究竟是什么，这里把group转换成list的形式来看一看： 转换成列表的形式后，可以看到，列表由三个元组组成，每个元组中，第一个元素是组别（这里是按照company进行分组，所以最后分为了A,B,C），第二个元素的是对应组别下的Da
Pandas+groupby用法讲解
热门推荐
zhangxiaojiakele的博客
10-10 3万+
import pandas as pd import numpy as np#导入数据 type_specified={"trip_id":"object","bikeid":"object","from_station_id":"object","to_station_id":"object", "hour":"object","weekday":"object"}
pandas聚合函数
weixin_52730784的博客
06-20 500
聚合函数01 | 数据集02 | value_counts( )03 | groupby( ) + count ( )03 | groupby( ) + agg( )04 | groupby( ) + apply 01 | 数据集 1.来源 kaggle： https://www.kaggle.com/harlfoxem/housesalesprediction 2.简介 这是一份kaggle房屋的数据集,包含21个columns import pandas as pd df = pd.read_cs
pandas第四章-分组、聚合函数
Sun123234的博客
08-02 492
pandas第四章-分组、聚合函数
pandas 笔记：聚合函数agg
qq_40206371的博客
01-10 687
1 基本使用方法 DataFrame.agg(func=None, axis=0, *args, **kwargs) 在指定轴上使用一项或多项操作进行聚合。 不同于numpy的聚合函数，agg只能在某一个特定的轴上执行 2 参数说明 func 用于聚合数据的函数 可以支持的类型有： 字符串函数名称 函数（lambda形式等） 函数列表 列名称：函数名称 列名称：函数列表 axis 0，应用于每一列 a[...
pandas数据分析之分组聚合
oyu~的博客
09-04 2131
pandas的groupby分组对象还可以用自定义的聚合函数可以通过groupby分组对象，将你自己的聚合函数，传入aggregate或agg方法即可grouped = df . groupby([ 'key' ]) #查看分组情况 for group_name , group_data in grouped : print(group_name) print(group_data)1.对每一列数据应用同一个函数2.对某列数据应用不同的函数。
Python DataFrame.groupby()聚合函数,分组级运算
09-20
python的pandas包提供的数据聚合与分组运算功能很强大，也很灵活，本文就带领大家一起来了解groupby技术，感兴趣的朋友跟随小编一起来看下
Python数据分析实战-dataframe分组（对某列）求和（附源码和实现效果）
数据杂坛
06-14 3273
Python数据分析实战-dataframe分组（对某列）求和（附源码和实现效果）
Pandas里groupby的应用
IBoyMan
05-12 2708
Groupby是pandas用于数据分析一个强大的动能函数，很多对数据的清洗、转换、聚合都需要用到。具体功能会一一介绍，博客也会慢慢更新。一：获取groupby分组后每组的具体数据获取分组数据：(每一个分组也是一个DF)...
Pandas知识点-详解聚合函数agg
weixin_43790276的博客
07-30 8455
pandas系列：聚合函数agg()
[数据挖掘02] pandas的分配和聚合函数（1）
gongdiwudu的专栏
06-03 3495
窗口函数是什么？窗口函数是时间序列的局部属性处理函数，比如，一维卷积滤波、移动平均、指数平均本篇我们将针对pandas对象的窗口函数展开讨论，并以示例展示他们的概念实质。
python，dataframe之同时对两列值进行groupby计算
leokingszx的博客
08-06 1万+
形如 x3 = dupliSet.groupby([dupliSet['color'],dupliSet['time']])['card_type'].sum().reset_index() 即可
python groupby 用法详解
夏日麦香的博客
08-03 2400
进行分析，如电商领域将全国的总销售额根据省份进行划分，分析各省销售额的变化情况，社交领域将用户根据画像（性别、年龄）进行细分，研究用户的使用情况和偏好等。如果按照正常的步骤来计算，需要先求得不同公司的平均薪水，然后按照员工和公司的对应关系填充到对应的位置，不用。转换成列表的形式后，可以看到，列表由三个元组组成，每个元组中，第一个元素是组别（这里是按照。在pandas中，实现分组操作的代码很简单，仅需一行代码，在这里，将上面的数据集按照。而言更加灵活，能够传入任意自定义的函数，实现复杂的数据操作。
讲解python中groupby()的应用及groupby案例分析
weixin_46713695的博客
07-09 6030
讲解python中groupby()的应用
如何mysql数据导入到mongdb
最新发布
codemami的博客
05-30 1165
由于MySQL和MongoDB的数据模型不同（例如，MySQL使用关系模型，而MongoDB使用文档模型），你可能需要转换数据的格式。使用MongoDB驱动程序：你也可以使用MongoDB的官方驱动程序（如Python的pymongo）来编写脚本，将数据直接插入到MongoDB中。注意：如果你的JSON文件包含多个文档，并且它们不是作为数组的一部分（即每个文档都在其自己的行上），则需要使用--jsonArray选项。手动转换：对于小型数据集，你可以手动编辑SQL或CSV文件，将其转换为JSON格式。
dataframe中groupby函数用法实例
03-22
Groupby 函数是 Pandas 库中的一个非常有用的函数，它可以将数据按照某个或多个列进行分组，然后对每个分组进行聚合操作，例如求和、求平均值等等。下面是一个 dataframe 中 groupby 函数的用法实例： ```python import pandas as pd # 创建一个 dataframe df = pd.DataFrame({ 'name': ['Alice', 'Bob', 'Charlie', 'David', 'Emily', 'Frank'], 'gender': ['F', 'M', 'M', 'M', 'F', 'M'], 'age': [25, 30, 35, 40, 45, 50], 'salary': [5000, 6000, 7000, 8000, 9000, 10000] }) # 按照 gender 列进行分组，并对 salary 列求平均值 grouped = df.groupby('gender')['salary'].mean() # 输出结果 print(grouped) ``` 运行上面的代码，输出结果如下： ``` gender F 7000.0 M 7666.666667 Name: salary, dtype: float64 ``` 可以看到，我们按照 gender 列进行了分组，并对 salary 列求了平均值。最终得到了一个 Series 对象，其中包含了每个分组的平均值。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值