dataframe groupby_Pandas——groupby练习

最新推荐文章于 2024-03-30 12:09:37 发布
最新推荐文章于 2024-03-30 12:09:37 发布
阅读量614 收藏 4
点赞数
文章标签： dataframe groupby groupby 之后的表格转换成dataframe pandas groupby

Occupation

1)csv文件

67897a6ea51eaf2c398082414b63722b.png

2）读取数据

import pandas as pd
users = pd.read_table('occupation.csv', sep=',', index_col='user_id') #sep='t'指定分隔符默认默认t，index_col=None,指定某列为索引
users.head()

ac6a7040d347014972da9c1e7adc23d8.png

ps:制表符_360百科

3)题目

1.统计各个职业的平均年龄
users.groupby('occupation')['age'].mean() #users.groupby('occupation').age.mean()
2.计算各职业中男性占本职业的比例,并降序排列
# 可在此定义一个函数
# 创建一个新列gender_num,对gender列应用一个函数,把男人变为1,女人变为0
(1)方法1
def gender_to_numeric(x):
    if x=="M":
        return 1
    else:
        return 0
users['gender_num']=users['gender'].apply(gender_to_numeric)
(2)方法2
users['gender_num']=users['gender'].apply(lambda x:1 if x=="M" else 0)

#统计各个职业男性的总和除以各职业的数量
a=users.groupby('occupation').gender_num.sum()/users.groupby('occupation').gender_num.count()*100 
a
# 排序
a.sort_values(ascending=False)
3.统计每个职业(occupation)年龄的最大和最小值
users.groupby('occupation').age.agg(['min','max'])
4.统计每个职业不同性别人群的平均年龄
users.groupby(['occupation','gender']).age.mean()
5.统计每个职业男女的比例
gender_ocup=users.groupby(['occupation','gender']).agg({'gender':'count'})
occup_count=users.groupby('occupation').agg('count')
occup_gender=gender_ocup.div(occup_count,level='occupation')*100
occup_gender.loc[:,'gender']

Regiment

1）创建

import pandas as pd
raw_data = {'regiment': ['Nighthawks', 'Nighthawks', 'Nighthawks', 'Nighthawks', 'Dragoons', 'Dragoons', 'Dragoons', 'Dragoons', 'Scouts', 'Scouts', 'Scouts', 'Scouts'], 
        'company': ['1st', '1st', '2nd', '2nd', '1st', '1st', '2nd', '2nd','1st', '1st', '2nd', '2nd'], 
        'name': ['Miller', 'Jacobson', 'Ali', 'Milner', 'Cooze', 'Jacon', 'Ryaner', 'Sone', 'Sloan', 'Piger', 'Riani', 'Ali'], 
        'preTestScore': [4, 24, 31, 2, 3, 4, 24, 31, 2, 3, 2, 3],
        'postTestScore': [25, 94, 57, 62, 70, 25, 94, 57, 62, 70, 62, 70]}
regiment = pd.DataFrame(raw_data, columns = raw_data.keys())
regiment

fce2d67a17cb3e9d26e63ac6dc893e9f.png

2）题目

1.每个军团的平均测试前成绩是多少 
regiment.groupby('regiment')['preTestScore'].mean()
2.呈现每个company的统计数据
regiment.groupby('company')['preTestScore','postTestScore'].describe()
3.每个company的平均测试前成绩
regiment.groupby('company')['preTestScore'].mean()
4.每个regiment和company的平均测试前成绩
regiment.groupby(['regiment','company'])['preTestScore'].mean()
5.每个company下的regiment有多少条数据
regiment.groupby(['company','regiment']).agg({'name':'count','preTestScore':'sum'})

drinks

1）csv文件

ae6b922ce68324141a9775466a1bc1f8.png

2）读取数据

import pandas as pd
drinks = pd.read_csv('drinks.csv')
drinks.head()

3）题目

1.每个大洲啤酒消费量的均值
drinks.groupby('continent')['beer_servings'].mean()
2.每个大洲wine消费量的描述信息
drinks.groupby('continent')['wine_servings'].describe()
3.统计每个大洲各种酒类的平均消费量
drinks.groupby('continent')[['beer_servings','spirit_servings','wine_servings','total_litres_of_pure_alcohol']].mean()
4.统计各个大洲酒精消费量的中位数
drinks.groupby('continent')[['beer_servings','spirit_servings','wine_servings','total_litres_of_pure_alcohol']].median()
5.统计每个大洲烈酒消费量的均值,最大值,最小值
# groupby('').agg(['x','y','z'])
drinks.groupby('continent')['total_litres_of_pure_alcohol'].agg(['mean','min','max'])

Sell

1)读取数据

import numpy as np
import pandas as pd
from datetime import datetime
#读取“销售记录。xlsx" 文件
s1 = pd.read_excel('销售记录.xlsx',sheet_name='销售记录')
s2 = pd.read_excel('销售记录.xlsx',sheet_name='2015 任务')
s3 = pd.read_excel('销售记录.xlsx',sheet_name='省份区域')
s4 = pd.read_excel('销售记录.xlsx',sheet_name='产品分类表')
s5 = pd.read_excel('销售记录.xlsx',sheet_name='RFM用户等级')
s1.head()

2）题目

# 查看数据类型并更改为恰当的类型
s1.info()
1. 统计2015年完成任务额度的销售代表
1.1 计算销售额
s1["销售额"] =s1['单价']*s1['数量']  #等价于s1["销售额"] =s1.单价*s1.数量
s1.head()
1.2 构造销售年份和月份
s1['销售年份'] = s1['下单日期'].dt.year
s1['销售月份'] = s1['下单日期'].dt.month
s1.head()
1.3 筛选出2015年的销售数据并计算每个销售代表的销售额
s15 = s1[s1.销售年份==2015]
s15.head()
1.4 计算15年每个销售代表的销售额和15年每个销售代表的任务额
# 15年每个销售代表的销售总额
sale_yet = s15.groupby('销售代表ID')['销售额'].sum()
sale_yet
# 计算s2表中每个销售代表的任务额
task15 = s2.groupby('销售代表ID')['任务额'].sum()
task15
1.5 连接两个销售额和任务额,计算完成情况
# concat连接
s_t = pd.concat([sale_yet,task15],axis=1)
s_t
# 计算完成情况
s_t['完成情况'] =s_t['销售额']-s_t['任务额']
s_t
sum(s_t['完成情况']>0)
2. 各年份销售总额的top3销售代表
2.1 求每年每个销售代表的销售总额并重设索引
#先进行分组得到Series格式的数据
s1.groupby(['销售年份','销售代表ID'])['销售额'].sum()
#两种方法得到DataFrame（重设索引使得索引变成列名）
(1)
temp=s1.groupby(['销售年份','销售代表ID'])['销售额'].sum().reset_index() #drop=True丢弃原来的索引这里不能添加
(2)
temp=s1.groupby(['销售年份','销售代表ID'],as_index=False)['销售额'].sum()
temp
2.2 按年份分组排序找到top3
(1)
temp=s1.groupby(['销售年份','销售代表ID'])['销售额'].sum() #Series
temp.reset_index().groupby('销售年份')['销售代表ID','销售额'].apply(lambda x:x.sort_values('销售额',ascending=False)[:3])#转换成dataframe（全都变成列非索引）再分组排序
ps:
temp.reset_index().groupby('销售年份')[[销售额]].apply(lambda x:x.sort_values('销售额',ascending=False)[:3]) #DataFrame
temp.reset_index().groupby('销售年份')[销售额].apply(lambda x:x.sort_values(ascending=False)[:3])#Series
(2)
s1.groupby(['销售年份','销售代表ID'])[['销售额']].sum().groupby('销售年份',group_keys=False).apply(lambda x:x.sort_values('销售额',ascending=False)[0:3])（对索引继续分组，再添加group_keys=False）
(3)
s1.groupby(['销售年份','销售代表ID']).sum()['销售额'].groupby('销售年份',group_keys=False).nlargest(3)  #Series
3. 根据省份区域表(s3)按下单年份统计各区（东，南， 西，北，中)的销售额排名
3.1 把 s3 表中的省份改名为客户省份,并融合 s1 和 s3
s3.rename(columns={'省份':'客户省份'},inplace=True)
s3
sale_merge_district = pd.merge(s1,s3)
sale_merge_district
#按下单年份统计各区（东，南， 西，北，中)的销售额，订单量
3.2 按年份和区域对销售额分组求和
a=sale_merge_district.groupby(['销售年份','区域'])['销售额'].sum()
a
3.3 对上一步销售额求top3
(1)
a.groupby(by='销售年份',group_keys=False).apply(lambda x:x.sort_values(ascending=False)[:3])    ##有点问题
(2)
4. 根据产品分类表计算每个产品分类的销售排名
4.1 融合销售记录表(s1)和产品分类表(s4)¶
sale_merge_prod = pd.merge(s1,s4,on='产品ID',suffixes=['_订单表','_销售表'])
sale_merge_prod.head()
4.2 按类统计产品的销售总额，销售总量
# 按类统计产品的销售额，销售量，并对其进行降序排列
sale_prod_sum =sale_merge_prod.groupby('产品分类')['销售额','数量'].sum()
sale_prod_sum
4.3 对上述销售额和销售数量进行降序排列,sort_values(by=['xx','yy'],ascending=[False,False])
sale_prod_sum.sort_values(by=['销售额','数量'],ascending=[False,False])
5. 对每年每月的销售总额和销量总额进行排序
5.1统计每年每月的销售总额和销售数量总额
temp=s1.groupby(['销售年份','销售月份'])[['销售额','数量']].sum()
temp
5.2对上面的结果进行降排,先按销售额排销售额相同则按数量排
temp.groupby('销售年份',group_keys=False).apply(lambda x:x.sort_values(['销售额','数量'],ascending=False))
6. 统计省份订单量的top3
s1['客户省份'].value_counts()[:3]  #值计数
7.查看数据一致性
7.1 用值计数或者unique方法查看客户名称都有哪些
s1['客户名称'].value_counts()
7.2 从客户名称中提取用户ID(数字)为新的一列,提取省份为新的一列
#字符串切片
s1['ID']=s1['客户名称'].str[-14:-9]
s1['省份']=s1['客户名称'].str[:-14]
#正则
s1['ID']=s1['客户名称'].str.extract('([0-9]+)', expand=False)
s1['省份']=s1['客户名称'].apply(lambda x:x.split('自')[0]).str.extract('([^0-9]+)',expand=False)
s1
7.3 对比客户ID和新提取的ID是否一致,判断新提取的省份和客户省份是否一致
（1）
any(s1['客户ID']==s1['ID'].astype(np.int64)) #等价于(s1['客户ID']==s1['ID'].astype(np.int64)).any()
（2）
any(s1['客户省份']==s1['省份'])
8. 统计各省的平均送货时长
8.1 计算送货时长
s1['送货时长']=s1['实际送货日期']-s1['下单日期']
s1
8.2 查看送货时长的数据格式,把它转化为int类型(选做)
s1.info()
（1）
s1['送货时长']=s1['送货时长'].astype(str).apply(lambda x:x.split(' ')[0])
s1['送货时长']=s1['送货时长'].astype(int)
s1
（2）
s1['送货时长']=pd.to_numeric(s1['送货时长'])
s1.dtypes
8.3 统计每个省份的平均送货时长
s1.groupby('客户省份')['送货时长'].mean()
9. 统计各产品分类的子分类个数
s4.groupby('产品分类')['产品子分类'].count()
10. 对数据进行RFM分析
#计算R
s1.groupby('客户ID')['下单日期'].max()
# 计算客户的F
s1.groupby('客户ID')['订单编号'].count()
# 计算M
s1.groupby('客户ID')['销售额'].sum()
weixin_39810856
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【Python数据分析与处理 实训03】 --- 酒类消费信息分析（数据分组聚合 group().agg()应用）
懂得一千零一种,赋予你失败的方法！
12-01 5065
【Python数据分析与处理 实训03】 — 酒类消费信息分析 探索酒类消费信息 对于下面的数据集进行简单的一些数据的分析训练： 若需要源数据请私信~ 1.将数据框命名为drinks drinks = pd.read_csv("G:\Projects\pycharmeProject\大数据比赛\泰迪智能科技\data\drinks.csv") print(drinks.head()) 2.哪个大陆（continent）平均消耗的啤酒（beer）更多 avg = drinks.groupby(
Pandas简明教程：五、Pandas简单统计操作及通用方式
半个冯博士
07-29 1187
文章目录1、DataFrame的方法使用举例2、DataFrame的方法调用通用方式3、DataFrame直接调用其它方法 前面已经提到，Pandas的DataFrame本质上其实就是一个表。对应Excel，我们通常会用到各种统计方法。那么这篇教程就简单叙述一下Pandas中基本的统计方法以及通用的调用规则。 1、DataFrame的方法使用举例 DataFrame中封装了许多方便查看的方法，比如： 查看首尾 df.head() 月份 姓名 性别 应发工资 实发工资 职位 0 1
数据分析新手必读！Python Pandas 分组和聚合操作详解
Python栈
05-27 2546
在数据分析和数据科学领域，数据聚合和分组是非常常见的操作。它提供了大量的功能，用于读取，清洗和处理各种类型的数据。Pandas是一个流行的Python库，提供了丰富的数据分析和处理功能。本文将介绍如何使用Pandas进行数据分组和聚合，包括分组操作和聚合函数的使用，以及使用transform和apply方法进行数据变换。
Pandas入门第五章之数据的聚合和分组
YYLin
06-05 555
前言： 本节介绍的数据的聚合和分组，在每个数据分析的比赛中都会使用的。但是再强调一遍我仅仅介绍一些基础的操作，如果你想要在这上面有些研究的话，一两个大型的数据分析相关的比赛肯定会对你有很大地帮助的。之前已经介绍了pandas中的两个常用的聚合函数merce() 和concat()， 所以本节主要介绍使用pandas进行数据的分组操作。 首先介绍在数据清晰地时候介绍的，对数据进行分类之后，使...
python学习——pandas基础操作
weixin_44357667的博客
10-20 284
pandas基础操作
Numpy及Pandas_numpy_pandas_dataframe_python_
09-30
5. 数据转换：进行类型转换（`astype()`)，数据聚合（`groupby()`, `agg()`)。 6. 数据操作：计算统计指标（如均值、标准差、中位数等），数据排序（`sort_values()`)。 7. 数据重塑：使用`pivot()`, `stack()`, `...
pandas数据预处理之dataframe的groupby操作方法
12-24
在数据预处理过程中可能会遇到这样的问题，如下图：数据中某一个key有多组数据，如何分别对每个key进行相同...使用dataframe实现groupby的用法： # -*- coding: UTF-8 -*- import pandas as pd df = pd.DataFrame([{'
DataFrame.groupby()所见的各种用法详解
09-16
`DataFrame.groupby()`是Pandas库中的一个核心方法，它允许我们根据数据的某些特性进行分组操作，从而方便地对数据进行聚合分析。在本文中，我们将深入探讨`groupby()`的各种用法，并通过示例代码来理解其功能。 ...
pandas dataframe对象的分组机制groupby
12-20
在Python的Pandas库中，`DataFrame`对象的分组机制`groupby`是一个非常重要的功能，它允许我们在数据集上执行聚合操作，比如计算平均值、求和、计数等，按照特定的分类标准。分组操作可以分为三个主要步骤，让我们...
pandas获取groupby分组里最大值所在的行方法
12-25
pandas获取groupby分组里最大值所在的行方法 如下面这个DataFrame,按照Mt分组，取出Count最大的那行 import pandas as pd df = pd.DataFrame({'Sp':['a','b','c','d','e','f'], 'Mt':['s1', 's1', 's2','s2','s2','...
pandas练习（三）------ 数据分组
dati4434的博客
06-20 854
探索酒类消费数据 相关数据见（github） 步骤1 - 导入pandas库 import pandas as pd 步骤2 - 数据集 path3 = "./data/drinks.csv" # drinks.csv 步骤3 将数据框命名为drinks drinks = pd.read_csv(path3) drinks.head() ...
pandas读取excel数据,按人头数分给不同的人进行数据处理
m0_56659620的博客
03-02 183
pandas将一个excel分成多个
数据分析 | Pandas 200道练习题，每日10道题，学完必成大神（3）
小鱼干儿的博客
10-28 6021
今天的10道题涉及的东西多了一些，groupby、describe、cut、sort_values、info等，如果想要全部的了解这些，仅靠这10道题是远远不够的，希望大家能够额外找些试题练习，也可以跟着博主的文章一块刷题✨✨✨
【Python】Pandas Groupby操作的25个示例
小哲的博客
03-24 6773
首先，模拟生成10个样本数据： 在pandas中，实现分组操作的代码很简单，仅需一行代码，在这里，将上面的数据集按照字段进行划分： 这个生成的是啥呢？对data进行了groupby后发生了什么？ipython所返回的结果是其内存地址，并不利于直观地理解，为了看看group内部究竟是什么，这里把group转换成list的形式来看一看： 转换成列表的形式后，可以看到，列表由三个元组组成，每个元组中，第一个元素是组别（这里是按照company进行分组，所以最后分为了A,B,C），第二个元素的是对应组别下的Da
Pandas基础之groupby
最新发布
m0_55703957的博客
03-30 151
这次使用的数据依旧是前面操作使用过的天气csv文件，没有办法给宝子们粘贴了，宝子们可以自己创造一点数据进行操作练习。类似SQL: select student,sum(grade) from stu_grade group by student。学习过数据库系统原理的的小伙伴们应该对groupby函数有一定的了解，groupby根据指定的属性对数据进行分组聚合。
pandas 学习 - Task06综合练习
qq_41760902的博客
05-01 230
2002 年-2018 年上海机动车拍照拍卖 问题 (1) 哪一次拍卖的中标率首次小于 5%？ sh_auc[‘ratio’] = sh_auc.iloc[:,1] / sh_auc.iloc[:,4] sh_auc[sh_auc[‘ratio’]<0.05].head(1) 月份: 15-May (2) 按年统计拍卖最低价的下列统计量：最大值、均值、0.75 分位数，要求 显示在同一张表上...
Python DataFrame数据分组统计（Pandas篇-16）
侯小啾技术博客
03-08 5507
Python Pandas DataFrame数据分组统计（第16讲）【`groupby()`&`agg()`】`groupby()` 函数是 Pandas 中用于分组数据的强大工具。它允许我们按照某一列或多个列的值对 DataFrame 进行分组，并对每个分组应用相应的函数。`agg()` 函数是 `Pandas` 中的一个灵活且功能强大的函数，用于对 `DataFrame` 或分组后的数据进行聚合操作。它允许我们一次性应用多个聚合函数或自定义函数，并返回一个包含聚合结果的新的 `DataFrame`。
从pandas_exercises里学到的
qq_41967784的博客
08-25 438
孤寡前言读数据计算占比div函数 前言 github上找的练习pandas的一个项目，记录下学到了啥。 项目 https://github.com/guipsamora/pandas_exercises 下载到本地用Jupyter notebook打开就好啦。 读数据 众所周知，读取数据直接用pandas.read_(table,csv,sql,excel)就好，需要注意的是read_table和read_csv里默认的参数sep并不同，前者是\t，而后者是, 。 计算占比 计算占比时总会agg两个函数
python DataFrame数据分组统计groupby()函数，值得推荐
热门推荐
m0_67621628的博客
03-18 1万+
4. 通过 字典 和 Series 对象进行分组统计 4.1通过一个字典 4.2通过一个Series 1. groupby基本用法 ===================================================================================== 1.1 一级分类_分组求和 import pandas as pd data = [[‘a’, ‘A’, 109], [‘b’, ‘B’, 112], [‘c’, ‘A’, 125], ..
python pandas dataframe groupby，合并
07-28
回答: 在Python的pandas库中，可以使用groupby函数对DataFrame进行分组操作。在给定的例子中，可以使用groupby函数按照某一列（例如'class'）对DataFrame进行分组。然后，可以使用agg函数对每个分组进行聚合操作，例如计算平均值、求和等。最后，可以使用merge函数将多个分组后的DataFrame合并成一个新的DataFrame。在给定的代码中，使用了reduce函数和lambda表达式来实现多个DataFrame的合并操作。具体来说，reduce函数将lambda表达式应用于res列表中的每个DataFrame，通过指定共同的列名（'name'）进行左连接（how='left'），最终得到一个合并后的DataFrame。\[1\] #### 引用[.reference_title] - *1* [pandas-多个DataFrame同时进行merge合并](https://blog.csdn.net/Elvis__c/article/details/126411204)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^koosearch_v1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值