pandas中的分组技术

最新推荐文章于 2023-01-03 17:41:00 发布
最新推荐文章于 2023-01-03 17:41:00 发布
阅读量381 收藏 2
点赞数
文章标签： python 数据库
原文链接：http://www.cnblogs.com/songfy/p/8449920.html
版权

目录

我们在这里要讲一个很常用的技术, 就是所谓的分组技术, 这个在数据库中是非常常用的, 要去求某些分组的统计量, 那么我们需要知道在pandas里面, 这些分组技术是怎么实现的.

分组操作

我们这里要来聊聊在pandas中实现分组运算, 大致上可以按照列, 字典或者Series, 函数, 索引级别进行分组, 我们会逐渐来介绍.

按照列进行分组
import pandas as pd
from pandas import DataFrame, Series
import numpy as np

sep = "---------------------------------------------------------------------------"
data = DataFrame({"key1": ['a', 'a', 'b', 'b', 'a'], "key2": ['one', 'two', 'one', 'two', 'one'], 'data1': np.random.randn(5), 'data2': np.random.randn(5)})
print(data)
      data1     data2 key1 key2
0  0.733951  0.000379    a  one
1  1.039029  0.852930    a  two
2  0.921413 -1.644942    b  one
3  0.294560  0.521525    b  two
4  0.286072 -0.074574    a  one

data1按照key1分组为:

groups = data['data1'].groupby(data['key1'])

我们发现得到了一个SeriesGroupBy 对象, 现在我们对这个对象进行迭代:

for name, group in groups:
    print(name)
    print(sep)
    print(group)
    print(sep)
a
---------------------------------------------------------------------------
0    0.733951
1    1.039029
4    0.286072
Name: data1, dtype: float64
---------------------------------------------------------------------------
b
---------------------------------------------------------------------------
2    0.921413
3    0.294560
Name: data1, dtype: float64
---------------------------------------------------------------------------

我们发现, groups有(key, Series)对组成, key根据什么来分组的元素, Series(DataFrame)是分组的元素, Series(DataFrame)的name还是原来的列名.

对你分组进行迭代, 用:

for name, group in groups

groups = data.groupby(data['key1'])
for name, group in groups:
    print(name)
    print(sep)
    print(group)
    print(sep)
a
---------------------------------------------------------------------------
      data1     data2 key1 key2
0  0.733951  0.000379    a  one
1  1.039029  0.852930    a  two
4  0.286072 -0.074574    a  one
---------------------------------------------------------------------------
b
---------------------------------------------------------------------------
      data1     data2 key1 key2
2  0.921413 -1.644942    b  one
3  0.294560  0.521525    b  two
---------------------------------------------------------------------------

groupby就是按照某个值来分组, 无论是对series还是dataframe, 都成立.

我们可以在分好组的对象上调用统计函数.

data.groupby(data['key1']).mean()
data1data2
key1
a0.6863510.259578
b0.607986-0.561709

在每个分组上分别对每个每一列求均值, 如果是非数字列, 或默认剔除.

作业1:在每个分组上分别对每个每一行求均值.

提示: data.groupby(data['key1']).mean(axis=1)是行不通的.

对于多个列进行分组, 分组的key是对应分组元素的元组.

作业2:对DataFrame用多个列进行分组.

下面其我们来看一个语法糖:

data.groupby([data['key1'], data['key2']])
<pandas.core.groupby.DataFrameGroupBy object at 0x000001D080230278>

它等价于:

data.groupby(['key1', 'key2'])
<pandas.core.groupby.DataFrameGroupBy object at 0x000001D080230630>

我们来验证一下:

groups =data.groupby([data['key1'], data['key2']])
for name, group in groups:
    print(name)
    print(sep)
    print(group)
    print(sep)
('a', 'one')
---------------------------------------------------------------------------
      data1     data2 key1 key2
0  0.733951  0.000379    a  one
4  0.286072 -0.074574    a  one
---------------------------------------------------------------------------
('a', 'two')
---------------------------------------------------------------------------
      data1    data2 key1 key2
1  1.039029  0.85293    a  two
---------------------------------------------------------------------------
('b', 'one')
---------------------------------------------------------------------------
      data1     data2 key1 key2
2  0.921413 -1.644942    b  one
---------------------------------------------------------------------------
('b', 'two')
---------------------------------------------------------------------------
     data1     data2 key1 key2
3  0.29456  0.521525    b  two
---------------------------------------------------------------------------
groups = data.groupby(['key1', 'key2'])
for name, group in groups:
    print(name)
    print(sep)
    print(group)
    print(sep)
('a', 'one')
---------------------------------------------------------------------------
      data1     data2 key1 key2
0  0.733951  0.000379    a  one
4  0.286072 -0.074574    a  one
---------------------------------------------------------------------------
('a', 'two')
---------------------------------------------------------------------------
      data1    data2 key1 key2
1  1.039029  0.85293    a  two
---------------------------------------------------------------------------
('b', 'one')
---------------------------------------------------------------------------
      data1     data2 key1 key2
2  0.921413 -1.644942    b  one
---------------------------------------------------------------------------
('b', 'two')
---------------------------------------------------------------------------
     data1     data2 key1 key2
3  0.29456  0.521525    b  two
---------------------------------------------------------------------------

我们发现输出结果是一模一样, 总结一下:

data.groupby([data['key1'], data['key2']])等价于data.groupby(['key1', 'key2'])

进一步:

data['data1'].groupby([data['key1'], data['key2']])等价于data.groupby(['key1', 'key2'])['data1']

作业3: 验证data['data1'].groupby([data['key1'], data['key2']])等价于data.groupby(['key1', 'key2'])['data1'].

data.groupby(['key1', 'key2'])['data1']
<pandas.core.groupby.SeriesGroupBy object at 0x000001D0FCD95D68>
data.groupby(['key1', 'key2'])[['data1']]
<pandas.core.groupby.DataFrameGroupBy object at 0x000001D080232898>

我不知道大家发现没有, 这两个返回的数据类型是有区别的, 我们仔细来看看:

data[['data1']] # 这是一个DataFrame
data1
00.733951
11.039029
20.921413
30.294560
40.286072
data['data1'] # 这是一个Series
0    0.733951
1    1.039029
2    0.921413
3    0.294560
4    0.286072
Name: data1, dtype: float64

那么这里的区别就不言而喻了吧

groups = data.groupby(['key1', 'key2'])[['data1']]

for name, group in groups:
    print(name)
    print(sep)
    print(group)
    print(sep)
('a', 'one')
---------------------------------------------------------------------------
<class 'pandas.core.frame.DataFrame'>
---------------------------------------------------------------------------
('a', 'two')
---------------------------------------------------------------------------
<class 'pandas.core.frame.DataFrame'>
---------------------------------------------------------------------------
('b', 'one')
---------------------------------------------------------------------------
<class 'pandas.core.frame.DataFrame'>
---------------------------------------------------------------------------
('b', 'two')
---------------------------------------------------------------------------
<class 'pandas.core.frame.DataFrame'>
---------------------------------------------------------------------------

结果是一样的.

data.groupby(['key1', 'key2'])[['data1']].mean()
data1
key1key2
aone0.510012
two1.039029
bone0.921413
two0.294560
data.groupby(['key1', 'key2'])['data1'].mean()
key1  key2
a     one     0.510012
      two     1.039029
b     one     0.921413
      two     0.294560
Name: data1, dtype: float64

在做数据聚合的时候就发现了不同,

[['data1']]得到的是一个DataFrame, 而['data1']得到的是Series.

按照字典进行分组

我们来看一个按照字典进行分组的例子:

data = DataFrame(np.random.randn(5, 5), columns=['a', 'b', 'c', 'd', 'e'], index=['joe', 'steve', 'wes', 'jim', 'Travis'])
data
abcde
joe-0.0895971.2393072.173063-0.519295-1.783812
steve0.5391090.724553-0.0418990.7874940.394633
wes-0.0554170.384068-0.594006-0.4515870.722761
jim-0.0567670.3988632.140669-1.060791-0.953756
Travis0.245142-0.468819-0.863372-0.1519661.185567
# 定义一个分组的字典, a, b, c --> red, d, e --> blue
mapping = {'a':'red', 'b':'red', 'c': 'red', 'd':'blue', 'e': 'blue'}
data.groupby(mapping, axis=1).mean()   # 对每一个分组求平均
bluered
joe-1.1515541.107591
steve0.5910630.407255
wes0.135587-0.088452
jim-1.0072730.827589
Travis0.516800-0.362350

作业4:自己设计一个index的mapping, 按axis=0进行分组.

根据函数进行分组

话不多说, 直接来看例子:

data.groupby(len).mean()
abcde
3-0.0672600.6740791.239909-0.677224-0.671602
50.5391090.724553-0.0418990.7874940.394633
60.245142-0.468819-0.863372-0.1519661.185567

我们发现, 字典和函数都是作用到索引上的.

按照list组合

这个例子非常简单:

data.groupby(['1', '1', '1', '2', '2']).mean()
abcde
10.1313650.7826430.512386-0.061130-0.222139
20.094188-0.0349780.638649-0.6063780.115905

他会自动判断是按照列还是list.

按照索引级别进行分组

作业5: 自己学习按索引级别进行分组.

分组运算

分组运算主要设计到3个函数, agg, transform和apply.

我们一个一个来看.

agg
data = DataFrame({"key1": ['a', 'a', 'b', 'b', 'a'], "key2": ['one', 'two', 'one', 'two', 'one'], 'data1': np.random.randn(5), 'data2': np.random.randn(5)})
data
data1data2key1key2
00.441278-0.848457aone
11.843375-0.522482atwo
2-1.435176-0.191682bone
3-2.700772-0.832993btwo
4-1.430386-1.910834aone
data.groupby("key2").agg(np.mean)
data1data2
key2
one-0.808095-0.983658
two-0.428699-0.677738

当然, 这个等价于:

data.groupby("key2").mean()
data1data2
key2
one-0.808095-0.983658
two-0.428699-0.677738

原理: 聚合函数会在group后的每个切片上(group后的每一行或每一列)计算出值.

我们也可以自定义函数:

data.groupby("key2").agg(lambda x: x.max() - x.min())
data1data2
key2
one1.8764541.719153
two4.5441470.310511

他会在每个分组的每个列上调用这个函数.

data.groupby("key2").agg([np.mean, np.max,np.min])
data1data2
meanamaxaminmeanamaxamin
key2
one-0.8080950.441278-1.435176-0.983658-0.191682-1.910834
two-0.4286991.843375-2.700772-0.677738-0.522482-0.832993
data.groupby("key2").agg([("平均值:", np.mean), ("最大值",np.max), ("最小值",np.min)]).rename({"one": "第一组", "two":"第二组"})
data1data2
平均值:最大值最小值平均值:最大值最小值
key2
第一组-0.8080950.441278-1.435176-0.983658-0.191682-1.910834
第二组-0.4286991.843375-2.700772-0.677738-0.522482-0.832993
# 对不同列用不同的分组函数 
data.groupby("key2").agg({"data1":[("平均值:", np.mean), ("最大值",np.max)], "data2":[("最小值",np.min)]}).rename({"one": "第一组", "two":"第二组"})
data2data1
最小值平均值:最大值
key2
第一组-1.910834-0.8080950.441278
第二组-0.832993-0.4286991.843375
transform

transform是一个矢量化的函数, 如果最后我们得到的值和分组切片不一致, 会进行广播:

data
data1data2key1key2
00.441278-0.848457aone
11.843375-0.522482atwo
2-1.435176-0.191682bone
3-2.700772-0.832993btwo
4-1.430386-1.910834aone
data.groupby("key1").transform(np.mean)
data1data2
00.284756-1.093924
10.284756-1.093924
2-2.067974-0.512338
3-2.067974-0.512338
40.284756-1.093924

仔细看, 0,1, 4一组, 2,3一组, 发生了广播.

现在有个需求,按分组减去均值.

data.groupby("key1").transform(lambda x: x - x.mean())
data1data2
00.1565230.245468
11.5586190.571442
20.6327980.320656
3-0.632798-0.320656
4-1.715142-0.816910

a, b分组的各列都减去了他们的均值, 不信, 来看:

data.groupby("key1").transform(lambda x: x - x.mean()).groupby([1, 1, 0,0, 1]).mean()
data1data2
01.110223e-16-5.551115e-17
17.401487e-17-1.110223e-16
apply

这个函数是transform的加强版, transform只能返回和原来切片大小一样大的, 但apply是可以任意的. 其实我们之前就用过apply函数, 我们知道, apply是作用在列(行)上的, applymap是作用在函数上的.

data = DataFrame({"key1": ['a', 'a', 'b', 'b', 'a'], "key2": ['one', 'two', 'one', 'two', 'one'], 'data1': np.random.randn(5), 'data2': np.random.randn(5)})
data
data1data2key1key2
0-0.3126940.073574aone
1-0.902065-0.854249atwo
2-0.4409150.228551bone
3-0.406243-0.878505btwo
41.812926-0.114598aone

如果我们要找出one, 和two分组中选出data2最大的前两个呢?

data.groupby('key2').apply(lambda x: x.sort_values(by='data2')[-2:])
data1data2key1key2
key2
one0-0.3126940.073574aone
2-0.4409150.228551bone
two3-0.406243-0.878505btwo
1-0.902065-0.854249atwo

去掉group层次索引:

data.groupby('key2', group_keys=False).apply(lambda x: x.sort_values(by='data2')[-2:])
data1data2key1key2
0-0.3126940.073574aone
2-0.4409150.228551bone
3-0.406243-0.878505btwo
1-0.902065-0.854249atwo

总结一下: apply就是把分完组的切片挨个(按行, 按列, 或者整体)调用我们的函数, 最后再把结果合并起来.

利用groupby技术多进程处理DataFrame

我们这里要教大家用一种groupby技术, 来实现对DataFrame并行处理.

pip install joblib

因为我们windows系统的限制, 我们的代码是在linux上运行的:


import math
from joblib import Parallel, delayed
from pandas import DataFrame
import pandas as pd
import numpy as np
import time

begin = time.time()
test = DataFrame(np.random.randn(10000000, 10))
test_other = test.copy()
groups = test.groupby(lambda x: x % 8)

def func(x):
    return x.applymap(lambda y: math.pow(y, 4))

pd.concat(Parallel(n_jobs=8)(delayed(func)(group) for name, group in groups))
print(time.time() - begin)


begin = time.time()
test_other.applymap(lambda x: math.pow(x, 4))
print(time.time() - begin)

运算结果为:
23.35878014564514
62.76386260986328

速度大概提升了2.5倍, 还是很不错的.

转载于:https://www.cnblogs.com/songfy/p/8449920.html

weixin_30449239
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
pandas-分组聚合
MicoOu的博客
01-13 1211
目录1.groupby分组1.1 分组的方式2.agg聚合2.1 dataframe.agg方法2.2 分组对象的agg方法 1.groupby分组 通过groupby方法对series或者dataframe对象进行分组，该方法会返回一个分组对象。但是无法直接打印查看该分组对象的信息。 groupby的一个属性二个方法： groups：返回一个字典类型的对象，包含分组信息。 size()：返回...
Pandas分类总结之：分组
seven的博客
09-02 1798
文章目录1. 分组模式及其对象1.1 分组的一般模式1.2 Groupby对象1.3 分组的三大操作2.聚合函数2.1 内置聚合函数2.2 agg方法3.变换与过滤3.1 变换函数与transform方法3.2 组索引与过滤4.跨列分组4.1 apply函数 1. 分组模式及其对象 1.1 分组的一般模式 df.groupby(分组依据)[数据来源].使用操作 实例df.groupby('Gender')['Height'].mean() 单一维度分组 df.groupby('Gender')['He
数据分组技术GroupBy
weixin_44039183的博客
08-15 9088
数据分组技术GroupBy数据分组技术GroupBy引入相关库数据获取 数据分组技术GroupBy 引入相关库 import numpy as np import pandas as pd from pandas import Series,DataFrame 数据获取 df=pd.read_csv('../homework/city_weather.csv') df date city temperature wind
pandas分组group
weixin_30546933的博客
05-26 475
Pandas对象可以分成任何对象。有多种方式来拆分对象，如 - obj.groupby(‘key’) obj.groupby([‘key1’,’key2’]) obj.groupby(key,axis=1) 现在来看看如何将分组对象应用于DataFrame对象 #!/usr/bin/env python # -*- coding: utf-8 -*- # @Time ...
pandas:分组（GroupBy）
错位的梦寐的博客
09-29 2945
andas提供了一个灵活高效的groupby功能，它使你能以一种自然的方式对数据集进行切片、切块、摘要等操作。根据一个或多个键（可以是函数、数组或DataFrame列名）拆分pandas对象。计算分组摘要统计，如计数、平均值、标准差，或用户自定义函数。对DataFrame的列应用各种各样的函数。应用组内转换或其他运算，如规格化、线性回归、排名或选取子集等。计算透视表或交叉表。执行分位数分析以及其他...
pandas：分组和排序
weixin_45081871的博客
04-08 6388
grouping and sorting lambda是匿名函数，即不再使用def的形式，可以简化脚本，使结构不冗余何简洁 groupby() value_counts() agg():可以同时运行一堆不同的函数（max（）、min（）） reset_index():转回常规索引的方法 sort_values() sort_index():按照索引值排序 1.分组分析（groupwise analysis） reviews.groupby("points").points.count() review
pandas官方文档中文版_python教程_pandas中文API_pandas中文_
10-02
Pandas是Python编程语言中的一个强大且广泛使用的数据分析库。它为数据清洗、处理、分析和可视化提供了一系列高效工具，使得数据科学家和分析师能够轻松地进行数据操作。Pandas中文API文档是学习和掌握这个库的重要...
pandas分组计算平均值_Pandas之分组计算
weixin_33199315的博客
12-23 7386
原标题：Pandas之分组计算本文作者：杨长青本文编辑：杨慧琳技术总编：张学人好消息！！！爬虫俱乐部将于2019年5月2日至4日在武汉举行Stata编程技术五一训练营，此次采用理论与案例相结合的方式，旨在帮助大家熟悉Stata数据分析技巧，能够通过编程读取不同类型的数据源、实现复杂数据合并、清洗的程序化，并且熟悉Stata核心的爬虫技术。在数据处理过程，我们经常会用到分组计算。在Stata中，我们...
pandas的分组与聚合
m0_48299925的博客
09-15 304
join merge 题目：统计电影分类(genre)的情况 P125 获取最初数据->tolist->将数据平铺 !!!两个循环->set去重且list->构造一个全0数组(行和列的取值！！)-->对号入座，找到位置，替换成1，进行列求和 #统计分类的列表 datalist2=df["Genre"].str.split(", ").tolist() print(datalist2) # 将数据平铺 datalist=[j for i in data...
pandas分组计算平均值_pandas聚合和分组运算——GroupBy技术(1)
weixin_42386511的博客
12-23 4100
数据聚合与分组运算——GroupBy技术(1)，有需要的朋友可以参考下。pandas提供了一个灵活高效的groupby功能，它使你能以一种自然的方式对数据集进行切片、切块、摘要等操作。根据一个或多个键(可以是函数、数组或DataFrame列名)拆分pandas对象。计算分组摘要统计，如计数、平均值、标准差，或用户自定义函数。对DataFrame的列应用各种各样的函数。应用组内转换或其他运算，如规格...
Pandas初步之合并（merge）、分组（group）
大道至简
01-03 552
pandas是一个非常强大的库，但是前提必须要掌握常用的方法。 以下列举了一些数据处理的方式，笔者会持续更新
Pandas学习笔记3——分组
qq_42662568的博客
04-26 700
Task03：分组（2天） Pandas基础关于分组groupby函数聚合、过滤和变换聚合（Aggregation）过滤（Filteration）变换（Transformation）apply练习练习一练习二参考内容 关于分组 对数据集进行分类，然后方便对每一组的数据进行统计分析。 分组运算过程：split（分割）、apply（应用）、combine（合并）。 切割：根据什么数据进行分组； 应用...
详解pandas中的groupy机制
尤尔小屋
06-26 1882
公众号：尤而小屋作者：Peter编辑：Peter 大家好，我是Peter~ 在自己的数据处理分析日常中，经常会遇到对数据的某个字段进行分组再求和或均值等其他操作的需求，比如电商中根据不同的支付用户、不同的月份、不同的性别、不同的用户来源进行用户的画像细分，来研究不同组用户的偏好和消费情况等。 在pandas中自己都是使用groupby来解决这类问题，本文结合一份模拟的数据来讲解groupby的内部机制。 模拟数据 为了方便解释，自己模拟了一份虚拟数据，仅包含3个字段：员工姓名employees、薪资.
Pandas查看groupby后结果的三种方式：循环打印、.groups和.get_group
热门推荐
虚宇宸轩
04-15 3万+
pandas对一个DataFrame经过groupby分组之后得到的返回值不是DataFrame类型，因此无法直接查看。 除了直接运用各种聚合操作读取各分组的统计信息外，我们有三种方法可以查看分组后的具体结果： 1. 通过循环遍历打印： 2. 用df.groups查看分组情况 3. 用df.get_group()查看某一组的内容
Pandas groupby分组操作详解
guguo666的博客
12-15 1687
在数据分析中，经常会遇到这样的情况：根据某一列（或多列）标签把数据划分为不同的组别，然后再对其进行数据分析。比如，某网站对注册用户的性别或者年龄等进行分组，从而研究出网站用户的画像（特点）。在Pandas 中，要完成数据的分组操作，需要使用 groupby() 函数，它和 SQL 的GROUP BY操作非常相似。在划分出来的组（group）上应用一些统计函数，从而达到数据分析的目的，比如对分组数据进行聚合、转换，或者过滤。
第3章 分组
韩绘锦的博客
04-26 717
第3章 分组 import numpy as np import pandas as pd df = pd.read_csv('data/table.csv',index_col='ID') df.head() School Class Gender Address Height Weig...
Python中的groupby分组功能
weixin_40198632的博客
07-11 1288
pandas中的DataFrame中可以根据某个属性的同一值进行聚合分组，可以选单个属性，也可以选多个属性：代码示例：import pandas as pdA=pd.DataFrame([['Beijing',1.68,2300,'city','Yes'],['Tianjin',1.13,1293,'city','Yes'],['Shaanxi',20.56,3732,'Province','Ye...
7天微课程day3——用Python进行时间序列可视化
hustqb的博客
06-17 4984
声明： 本文是系列课程的第三课 本文是对机器学习网站课程的翻译 尊重原作者，尊重知识分享 用Python进行时间序列可视化 Python中有6中可视化时间序列的方法 时间序列本身的特性决定了它很容易被可视化，特别适用于折线图。然而，还有一些其他方法可以可视化时间序列，而且会展现时间序列其他方面的信息。我们对要分析的时间序列了解的越多，建立的预测模型就会越好，所以要好好学习这节课~ ...
pandas中groupby分组后数据调用
kunne806的博客
03-18 1829
pandas中groupby,ngroup,unique,round,get_group,groups组合运用
pandas技术介绍
最新发布
06-28
Pandas是Python中一个强大的数据处理库，它提供了一套数据结构和数据分析工具，使得数据操作和分析变得更加简单高效。主要特点包括： 1. DataFrame：Pandas的核心数据结构，类似于电子表格或SQL表，可以存储各种类型的数据，并且具有列名，支持标签化索引，方便进行数据清洗、转换和合并。 2. Series：一维标记数组，类似NumPy的ndarray，但包含更多的功能，如内置的统计方法和数据清洗工具。 3. 数据清洗：Pandas提供了丰富的数据清洗功能，如缺失值处理（dropna, fillna）、重复值检测（duplicated）和数据类型转换等。 4. 数据操作：支持数据重塑（reshape）、切片、合并（merge, concat）、分组（groupby）等高级操作，便于进行复杂的数据处理和分析。 5. 时间序列：对于时间序列数据，Pandas提供了专门的支持，如日期范围生成（date_range）、重采样（resample）和移动窗口统计等。 6. I/O接口：Pandas能够轻松读取多种数据格式，如CSV、Excel、SQL数据库、JSON、HTML、HDF5等，并且可以方便地将数据写入这些格式。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值