理解Pandas的Transform

最新推荐文章于 2024-06-28 13:46:47 发布
最新推荐文章于 2024-06-28 13:46:47 发布
阅读量681 收藏 3
点赞数
文章标签： python 数据分析
原文链接：https://www.jianshu.com/p/509d7b97088c
版权

Pandas具有丰富的功能，transform是与groupby（pandas中最有用的操作之一）组合使用的。一般情况下，我们在groupby之后使用aggregate , filter 或 apply来汇总数据，transform可能稍难理解。

aggregation会返回数据的缩减版本，而transformation能返回完整数据的某一变换版本供我们重组。这样的transformation，输出的形状和输入一致。一个常见的例子是通过减去分组平均值来居中数据。

实践

加载数据

import pandas as pd

data = {'account':[383080,383080,383080,412290,412290,412290,412290,412290,218895,218895,218895,218895],
       "name":['Will LLC','Will LLC','Will LLC','Jerde-Hilpert','Jerde-Hilpert','Jerde-Hilpert','Jerde-Hilpert','Jerde-Hilpert','Kulans Inc','Kulans Inc','Kulans Inc','Kulans Inc'],
       "order":[1001,1001,1001,1005,1005,1005,1005,1005,1006,1006,1006,1006],
       'sku':['B1-20000','B1-27722','B1-86481','S1-06532','S1-82801','S1-06532','S1-47412','S1-27722','S1-27722','B1-33087','B1-33364','B1-20000'],
       "quantity":[7,11,3,48,21,9,44,36,32,23,3,-1],
       'unit price':[33.69,21.12,35.99,55.82,13.62,92.55,78.91,25.42,95.66,22.55,72.3,72.18],
       "ext price":[235.83,232.32,107.97,2679.36,286.02,832.95,3472.04,915.12,3061.12,518.65,216.90,-72.18]}

df = pd.DataFrame(data)
df
accountnameorderskuquantityunit priceext price
0383080Will LLC1001B1-20000733.69235.83
1383080Will LLC1001B1-277221121.12232.32
2383080Will LLC1001B1-86481335.99107.97
3412290Jerde-Hilpert1005S1-065324855.822679.36
4412290Jerde-Hilpert1005S1-828012113.62286.02
5412290Jerde-Hilpert1005S1-06532992.55832.95
6412290Jerde-Hilpert1005S1-474124478.913472.04
7412290Jerde-Hilpert1005S1-277223625.42915.12
8218895Kulans Inc1006S1-277223295.663061.12
9218895Kulans Inc1006B1-330872322.55518.65
10218895Kulans Inc1006B1-33364372.30216.90
11218895Kulans Inc1006B1-20000-172.18-72.18

可以看到数据包含了不同的订单（order），以及订单里的不同商品的数量（quantity）、单价（unit price）和总价（ext price）

我们的任务是为数据表添加一列，表示不同商品在所在订单的价钱占比。

第一种方法实现步骤：

df.groupby(by='order')['ext price'].agg(sum)

order
1001     576.12
1005    8185.49
1006    3724.49
Name: ext price, dtype: float64

df.groupby(by='order')['ext price'].agg(sum).rename('order_total')

order
1001     576.12
1005    8185.49
1006    3724.49
Name: order_total, dtype: float64

order_total = df.groupby(by='order')['ext price'].agg(sum).rename('order_total').reset_index()
order_total
orderorder_total
01001576.12
110058185.49
210063724.49
df_1 = df.merge(order_total)
df_1
accountnameorderskuquantityunit priceext priceorder_total
0383080Will LLC1001B1-20000733.69235.83576.12
1383080Will LLC1001B1-277221121.12232.32576.12
2383080Will LLC1001B1-86481335.99107.97576.12
3412290Jerde-Hilpert1005S1-065324855.822679.368185.49
4412290Jerde-Hilpert1005S1-828012113.62286.028185.49
5412290Jerde-Hilpert1005S1-06532992.55832.958185.49
6412290Jerde-Hilpert1005S1-474124478.913472.048185.49
7412290Jerde-Hilpert1005S1-277223625.42915.128185.49
8218895Kulans Inc1006S1-277223295.663061.123724.49
9218895Kulans Inc1006B1-330872322.55518.653724.49
10218895Kulans Inc1006B1-33364372.30216.903724.49
11218895Kulans Inc1006B1-20000-172.18-72.183724.49
df_1['percent_of _order'] = df_1['ext price']/df_1['order_total']
df_1
accountnameorderskuquantityunit priceext priceorder_totalpercent_of _order
0383080Will LLC1001B1-20000733.69235.83576.120.409342
1383080Will LLC1001B1-277221121.12232.32576.120.403249
2383080Will LLC1001B1-86481335.99107.97576.120.187409
3412290Jerde-Hilpert1005S1-065324855.822679.368185.490.327330
4412290Jerde-Hilpert1005S1-828012113.62286.028185.490.034942
5412290Jerde-Hilpert1005S1-06532992.55832.958185.490.101759
6412290Jerde-Hilpert1005S1-474124478.913472.048185.490.424170
7412290Jerde-Hilpert1005S1-277223625.42915.128185.490.111798
8218895Kulans Inc1006S1-277223295.663061.123724.490.821890
9218895Kulans Inc1006B1-330872322.55518.653724.490.139254
10218895Kulans Inc1006B1-33364372.30216.903724.490.058236
11218895Kulans Inc1006B1-20000-172.18-72.183724.49-0.019380

第二种方法实现步骤（transform）

df.groupby(by='order')['ext price'].transform(sum)

0      576.12
1      576.12
2      576.12
3     8185.49
4     8185.49
5     8185.49
6     8185.49
7     8185.49
8     3724.49
9     3724.49
10    3724.49
11    3724.49
Name: ext price, dtype: float64

不再是只显示3个订单的对应项，而是保持了与原始数据集相同数量的项目，这样就很好继续了。这就是transform的独特之处。

df['order_total'] = df.groupby(by='order')['ext price'].transform(sum)
df['percent_of_order'] = df['ext price']/df['order_total']
df
accountnameorderskuquantityunit priceext priceorder_totalpercent_of_order
0383080Will LLC1001B1-20000733.69235.83576.120.409342
1383080Will LLC1001B1-277221121.12232.32576.120.403249
2383080Will LLC1001B1-86481335.99107.97576.120.187409
3412290Jerde-Hilpert1005S1-065324855.822679.368185.490.327330
4412290Jerde-Hilpert1005S1-828012113.62286.028185.490.034942
5412290Jerde-Hilpert1005S1-06532992.55832.958185.490.101759
6412290Jerde-Hilpert1005S1-474124478.913472.048185.490.424170
7412290Jerde-Hilpert1005S1-277223625.42915.128185.490.111798
8218895Kulans Inc1006S1-277223295.663061.123724.490.821890
9218895Kulans Inc1006B1-330872322.55518.653724.490.139254
10218895Kulans Inc1006B1-33364372.30216.903724.490.058236
11218895Kulans Inc1006B1-20000-172.18-72.183724.49-0.019380

甚至可以一步解决：

df['percent_of_order'] = df['ext price']/df.groupby(by='order')['ext price'].transform(sum)
df
accountnameorderskuquantityunit priceext priceorder_totalpercent_of_order
0383080Will LLC1001B1-20000733.69235.83576.120.409342
1383080Will LLC1001B1-277221121.12232.32576.120.403249
2383080Will LLC1001B1-86481335.99107.97576.120.187409
3412290Jerde-Hilpert1005S1-065324855.822679.368185.490.327330
4412290Jerde-Hilpert1005S1-828012113.62286.028185.490.034942
5412290Jerde-Hilpert1005S1-06532992.55832.958185.490.101759
6412290Jerde-Hilpert1005S1-474124478.913472.048185.490.424170
7412290Jerde-Hilpert1005S1-277223625.42915.128185.490.111798
8218895Kulans Inc1006S1-277223295.663061.123724.490.821890
9218895Kulans Inc1006B1-330872322.55518.653724.490.139254
10218895Kulans Inc1006B1-33364372.30216.903724.490.058236
11218895Kulans Inc1006B1-20000-172.18-72.183724.49-0.019380
fightingoyo
关注
Pandas分组函数groupby、聚合函数agg和转换函数transform
小龙在线
10-28 521
by: 指定根据哪个/哪些字段分组，默认值是None，按多个字段分组时传入列表。by参数可以按位置参数的方式传入。axis: 设置按列分组还是按行分组，0或index表示按列分组，1或columns表示按行分组，默认值为0。level: 当DataFrame的索引为多重索引时，level参数指定用于分组的索引，可以传入多重索引中索引的下标（0,1…）或索引名，多个用列表传入。
Pandas transform
zhaoleiedu的博客
06-25 364
pandas transform
掌握pandas中的transform
Eric_data的博客
12-08 1860
点击上方"蓝字"关注我们❝本文示例代码及文件已上传至我的Github仓库https://github.com/CNFeffery/DataScienceStudyNote...
数据处理进阶：掌握Pandas中的transform函数
最新发布
WHYbeHERE的博客
06-28 605
方法允许用户对数据集的每个元素进行某种操作，然后返回一个与原始数据集具有相同大小的新数据集。方法的语法和使用示例。无论是使用内置函数还是自定义函数，它都能帮助简化数据处理的流程，使其适用于各种不同的场景。方法可以帮助数据科学家和分析师更轻松地进行数据处理和特征工程，从而加速模型的建立和优化过程。在对数据进行分组后，应用不同的转换函数。还可以接受字典和列表，以不同的方式应用多个函数。在这个示例中，我们对列'A'应用了平方根函数，对列'B'应用了对数函数。的使用方法，以及它在数据处理中的实际应用。
pandas transform小结
bitcarmanlee的博客
01-11 461
transform可以调用一个函数，在每个组上生成一个相似的索引数据帧，并返回一个数据帧，该数据帧的索引与原始对象的索引相同，并填充转换后的值。核心是在每个组上生成一个相似的索引数据帧，这个就奠定了transform的强大之处，后面很多使用场合中我们都可以慢慢来体会。可以看出来，transform保留了与原来数据相同的索引。2.最后返回的结果，带上了原始对象的索引，可以很方便的与原始数据进行拼接返回。很明显上面的结果，与原数据行数不一致，索引也无法对齐，得到的结果都是NaN。很明显不是我们想要的结果。
pandas transform
07-27
- *1* *2* *3* [理解Pandas的Transform](https://blog.csdn.net/zpf336/article/details/123988332)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_...
Pandas对DataFrame单列/多列进行运算(map, apply, transform, agg)
12-17
Pandas提供了`map`, `apply`, `transform`, `agg`等方法来实现这些功能。 1. **单列运算**： - 使用`map()`函数，我们可以对DataFrame的一列（Series）进行操作。`map()`接受一个函数，通常是一个lambda函数，该...
详解Pandas转换函数transform
金戈鐡馬
03-23 725
在与分组函数groupby()配合使用时，transform()转换的结果与agg()聚合的结果不一样，transform()会保持每一个分组的形状与原始数据形状相同，而agg()会将每个分组的结果聚合成一个标量值。transform()传入单个函数对Series转换时，结果是Series，传入多个函数对Series转换时，结果是DataFrame，列名是调用的函数名。在transform()中可以用字典的方式给不同的列传入不同的函数，如果字典中的value有列表，则结果的索引变成多层索引。
Pandas transform函数
武者小路的博客
03-31 1535
Pandas是一个很有用的库，它包含了大量用于操作数据的内置函数。其中，transform()在处理行或列时非常有用。 在本文中，我们将介绍以下最常用的Pandas transform()用途： 1. 转换值 2. 组合groupby() 3. 过滤数据 4. 在组级别处理缺失值
Pandas知识点-详解转换函数transform
weixin_43790276的博客
10-07 7188
Pandas系列：转换函数transform。
如何理解pandas中的transform函数
大邓和他的Python
10-14 4758
transform函数一直没懂，直到看到这篇文章 UnderstandingtheTransformFunctioninPandas, 假设我们有下面的销售数据，有三个不...
Pandas_transform的用法
kyle1314608的博客
04-21 480
先来看一个实例问题。 如下销售数据中展现了三笔订单，每笔订单买了多种商品，求每种商品销售额占该笔订单总金额的比例。例如第一条数据的最终结果为：235.83 / (235.83+232.32+107.97) = 40.93%。 后台回复“transform”获取本文全部代码和pdf版本。 思路一： 常规的解法是，先用对订单id分组，求出每笔订单的总金额，再将源数据和得到的总金额进行“关联”。最后把相应的两列相除即可。相应的代码如下： 1.对订单id分组，求每笔订单总额。由于有三个order，因此最.
【Python】Pandas中的宝藏函数-transform()
热门推荐
fengdu78的博客
08-30 1万+
Pandas具有很多强大的功能，transform就是其中之一，利用它可以高效地汇总数据且不改变数据行数，transform是一种什么数据操作？如果熟悉SQL的窗口函数，就非常容易理解了，...
Pandas进阶：transform 数据转换的常用技巧
金戈鐡馬
12-01 1154
也可以用来过滤数据。仍用上个例子，我们希望获得城市总销售额超过40的记录，那么就可以这样使用。分为三组A、B、C，每组都有缺失值。我们知道替换缺失值的常见的方法是用。可以是我们正常使用的普通函数，像下面例子这样自定义一个函数。我们可以看到，每个城市都有多家销售餐厅。，相信很多朋友也用过，这里再次进行详细分享下。还可以是轴标签映射指定函数的字典。这样就可以一步到位，得到我们想要的格式。是指定用于处理数据的函数，它可以是。然后，再计算百分比调整格式，搞定。函数简洁的实现，效果是一样的。还可以是一个函数的列表。
一图快速理解Pandas的Transform函数
SYNing16的博客
02-18 599
pandas变形
破晓时刻的博客
04-26 252
交叉表是一种特殊的透视表，典型的用途如分组统计，如现在想要统计关于街道和性别分组的频数： print(pd.crosstab(index=df['Address'],columns=df['Gender'])) 交叉表的功能也很强大（但目前还不支持多级分组），下面说明一些重要参数： ① values和aggfunc：分组对某些数据进行聚合操作，这两个参数必须成对出现。默认参数等于如下方法：pd....
[转载]python – Pandas使用groupby中的count来创建新列
u013310037的博客
09-16 4040
一个看起来如下的df： 我正在尝试创建一个看起来像这样的df： 我努力了 df["count"] = df.groupby("item")["color"].transform('count') 但它并不是我所寻找的. 任何指导表示赞赏 这不是一个新专栏,这是一个新的DataFrame： 要获得所需的结果,请使用reset_index： 要获得“新列”,您可以使用transform： ...
pandas 实现 sql 中的row_number,dense_rank,rank
fanfanyuzhui的专栏
11-10 6601
data df=pd.DataFrame({'Year':[2012,2013,2013,2014],'Value':[10,20,25,30]})--------------------------------- df Value Year 0 10 2012 1 20 2013 2 25 2013 3 30 2014 实现row_number的排名
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值