【python数据分析基础】—pandas透视表和交叉表

已于 2024-05-08 10:09:43 修改
阅读量837 收藏 10
点赞数 28
分类专栏： python数据分析基础知识 文章标签： python 数据分析 pandas
于 2024-05-08 10:08:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sodaloveer/article/details/137632015
版权

目录

前言

透视表是excel和其他数据分析软件中一种常见的数据汇总工具。它是根据一个或多个键对数据进行聚合，并根据行和列上的分组键将数据分配到各个矩形区域中。

一、pivot_table 透视表

pivot_table()默认显示指定索引列和所有数值列。

语法：

pivot_table(data: ‘DataFrame’, values=None, index=None, columns=None, aggfunc: ‘AggFuncType’ = ‘mean’, fill_value=None, margins: ‘bool’ = False, dropna: ‘bool’ = True, margins_name: ‘str’ = ‘All’, observed: ‘bool’ = False, sort: ‘bool’ = True)

参数解析：

  • data：dataframe数据框。
  • value：需要聚合的列的名称，可选。默认聚合所有数值列。
  • index：用于分组的列名或其他分组键，出现在结果透视表的行。
  • columns：用于分组的列名或其他分组键，出现在结果透视表的列。
  • aggfunc：聚合函数或函数列表，默认为"mean"，可以是任何对groupby有效的函数。
  • fill_value：用于替换结果表中的缺失值。
  • margins：添加行/列小计和总计，默认为False。
  • dropna：不聚合所有值都为NA的列，默认为True。
  • margins_name：如果margins=True，设置添加行/列小计和总计的名称，默认为"All"。

举例：

以小费数据集为例，数据情况如下：

import pandas as pd
tips=pd.read_csv('F:\\pydata-book-2nd-edition\\examples\\tips.csv')
tips["tip_pct"]=tips["tip"]/tips["total_bill"] #添加一列小费比例tip_pct
tips.head(10)

在这里插入图片描述

tips.shape # (244, 8)

tips.columns

在这里插入图片描述

参数index：根据sex和smoker计算分组平均数。

#pivot_table的默认聚合类型：平均数
tips.pivot_table(index=['sex ','smoker'])

在这里插入图片描述

参数values和columns：只想聚合"tip_pct"和"size"，根据"sex"，"day"分组，将"smoker"放到列上，"day"放到行上。

tips.pivot_table(['tip_pct','size'],index=['sex ','day'],columns='smoker')

在这里插入图片描述

参数margins：margins=True 添加分项小计，这将会添加标签为all的行和列，其值对应单个等级中所有数据的分组统计，all值为平均值。

tips.pivot_table(['tip_pct','size'],index=['sex ','day'],columns='smoker',margins=True)

在这里插入图片描述

参数aggfunc：要使用其他的聚合函数，将其传给aggfunc即可，用len或count可以得到有关分组大小的交叉表。

tips.pivot_table('tip_pct',index=['sex ','smoker'],columns='day',aggfunc=len,margins=True)

在这里插入图片描述

参数fill_value：fill_value可以填补空值（NA）

tips.pivot_table('size',index=['time','sex ','smoker'],columns='day',aggfunc='sum',fill_value=0)

在这里插入图片描述

二、crosstab 交叉表

交叉表作为一种特殊的透视表，用于计算分组频率的特殊透视表。

语法：

crosstab(index, columns, values=None, rownames=None, colnames=None, aggfunc=None, margins: ‘bool’ = False, margins_name: ‘str’ = ‘All’, dropna: ‘bool’ = True, normalize=False)

参数解析：

  • index：接收string、数组、Series或数组list，表示行索引键，无默认。
  • columns：接收string、数组、Series或数组list，表示列索引键，无默认。
  • values：接收array，表示聚合数据，置信为None。
  • rownames：表示行分组键名，无默认。
  • colnames：表示列分组键名，无默认。
  • aggfunc：接收function，表示聚合函数，默认为None。
  • margins：布尔值，默认为True。表示汇总（total）功能的开关，设置为True后，结果集中会出现名为"ALL"的行和列。
  • margins_name：设置总计行（列）的名称（默认名称是“All”）
  • dropna：布尔值，表示是否对值进行标准化，默认为False。
  • normalize：布尔值，表示是否对值进行标准化，默认为False。

举例：

import numpy as np
data = pd.DataFrame({"Sample":np.arange(10),"Gender":np.random.choice(("Female","Male"),10),"Handedness":np.random.choice(("Right-handed","Left-handed"),10)})
data

在这里插入图片描述

根据性别和用手习惯对这段数据进行统计汇总。

import pandas as pd
pd.crosstab(data["Gender"],data["Handedness"],margins=True)

在这里插入图片描述

三、实际应用

示例1：数据聚合与分组实际应用

数据集情况：

import pandas as pd
fec=pd.read_csv('F:\\pydata-book-2nd-edition\\datasets\\fec\\P00000001-ALL.csv')

fec.shape #(1001731, 16)

fec.columns

在这里插入图片描述

fec.iloc[123456]

在这里插入图片描述

  • 分析1： 获取全部的候选人的名单
uniques_cands=fec.cand_nm.unique()
uniques_cands
uniques_cands[2]

在这里插入图片描述

  • 分析2： 补充党派信息

第一步：利用字典说明党派关系。

parties={'Bachmann, Michelle':'Republican',
         'Romney, Mitt':'Republican', 
         'Obama, Barack':'Democrat',
       "Roemer, Charles E. 'Buddy' III":'Republican',
         'Pawlenty, Timothy':'Republican',
       'Johnson, Gary Earl':'Republican',
         'Paul, Ron':'Republican', 
         'Santorum, Rick':'Republican',
       'Cain, Herman':'Republican', 
         'Gingrich, Newt':'Republican',
       'McCotter, Thaddeus G':'Republican',
       'Huntsman, Jon':'Republican',
         'Perry, Rick':'Republican'}

第二步：通过映射以及series对象的map方法，你可以根据候选人姓名得到一组党派信息，将其添加一个新列。

fec['party']=fec.cand_nm.map(parties)
fec['party'].value_counts()

在这里插入图片描述

数据集中“contb_receipt_amt”既包括退款也包括赞助，因此限定数据集只有正的出资额。

(fec["contb_receipt_amt"]>0).value_counts()

在这里插入图片描述

fec=fec[fec["contb_receipt_amt"]>0]
  • 分析3： 根据职业和雇主统计赞助信息

第一步：根据职业计算出资总额。

fec["contbr_occupation"].value_counts()[:10]

在这里插入图片描述

第二步：对职业信息、雇主信息进行映射。

occ_mapping={'INFORMATION REQUESTED':'NOT PROVIDED','INFORMATION REQUESTED PER BEST EFFORTS':'NOT PROVIDED','INFORMATION REQUESTED（BEST EFFORTS)':'NOT PROVIDED','C.E.O':'CEO'}

#如果没有映射消息则返回x
f=lambda x:occ_mapping.get(x,x)
fec["contbr_occupation"]=fec["contbr_occupation"].map(f)

emp_mapping={'INFORMATION REQUESTED':'NOT PROVIDED','INFORMATION REQUESTED PER BEST EFFORTS':'NOT PROVIDED','SELF':'SELF-EMPLOYED','SELF EMPLOYED':'SELF-EMPLOYED'}

f=lambda x:emp_mapping.get(x,x)
fec["contbr_employer"]=fec["contbr_employer"].map(f)

第三步：根据党派和职业对数据进行聚合，过滤掉总出资额不足200万美元的数据，生成透视表。

by_occupation = pd.pivot_table(fec,values='contb_receipt_amt',index='contbr_occupation',columns='party',aggfunc="sum")

第四步：生成柱状图

over_2mm = by_occupation[by_occupation.sum(1)>2000000]
over_2mm
over_2mm.plot(kind='barh')

在这里插入图片描述

  • 分析4： 总出资额最高的职业和企业

求最大值方法

def get_top_amounts(group,key,n=5):
    totals=group.groupby(key)['contb_receipt_amt'].sum()
    return totals.sort_values(ascending=False)[n:] #根据key对totals进行降序排列

根据职业和雇主进行聚合

fec_mrbo=fec[fec['cand_nm'].isin(['Obama, Barack','Romney, Mitt'])]

grouped=fec_mrbo.groupby('cand_nm')

grouped.apply(get_top_amounts,'contbr_occupation',n=7)#get_top_amounts函数的参数值

在这里插入图片描述

grouped.apply(get_top_amounts,'contbr_employer',n=10)

在这里插入图片描述

  • 分析5： 对出资额分组

第一步：利用cut函数根据出资额大小将数据离散到多个面元中。

bins=np.array([0,10,100,1000,10000,100000,1000000,10000000,100000000])
labels=pd.cut(fec_mrbo.contb_receipt_amt,bins)
labels

在这里插入图片描述

第二步：根据候选人的姓名以及面元标签对数据进行分组。

grouped=fec_mrbo.groupby(['cand_nm',labels])
grouped.size().unstack(0)

在这里插入图片描述

可以看到obama在小额赞助的数量比romney多得多。

第三步：对出资额求和并在面元内规格化，以便图形化显示两位候选人各种赞助额度的比例：

bucket_sums=grouped.contb_receipt_amt.sum().unstack(0)
bucket_sums

在这里插入图片描述

数据按行求频率如下：

normed_sums=bucket_sums.div(bucket_sums.sum(axis=1),axis=0)
normed_sums

在这里插入图片描述

两位候选人收到的各种捐赠额度的总额比例：

normed_sums[:-2].plot(kind='barh',stacked=True) #排除了两具最大的面元。

在这里插入图片描述

  • 分析6： 根据州统计赞助信息

第一步：根据候选人和州对数据进行聚合。

grouped=fec_mrbo.groupby(['cand_nm','contbr_st'])
totals=grouped.contb_receipt_amt.sum().unstack(0).fillna(0)
totals=totals[totals.sum(1)>100000]
totals[:10]

在这里插入图片描述

第二步：对各行除以总赞助额，就会得到各候选人在各州的总赞助额比例。

percent=totals.div(totals.sum(1),axis=0)
percent[:10]

在这里插入图片描述

sodaloveer
关注
  • 28
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python数据分析之Pandas数据结构和操作
02-24
Pandas是什么？1、一个强大的分析结构化数据的工具集2、基础是NumPy，提供了高性能矩阵的运算3、应用在数学挖掘，数据分析。比如，学生成绩分析，股票数据分析等4、提供数据清洗功能Pands数据结构，主要分为两种，Series和DataFrame1、类似一维数组的对象2、通过list构建Seriesser_obj=pd.Series(rang(10))3、由数据和索引组成索引在左，数据在右索引是自动创建的4、获取数据和索引5、预览数据(取前几个)ser_obj.head(n)6、通过索引获取数据7、索引与数据的对应关系仍保持在数组运算的结果中（过滤series中的数据）8、通过dict构建
Python数据分析实践：透视表和重塑dataframenew.pdf
06-14
2022/3/14 4.9 透视表和重塑dataframe In [ ]: import numpy as np import pandas as pd 在数据分析中，常常需要用到数据透视表和交叉表，下面介绍pandas.DataFrame.pivot_table数据透视表和pandas.DataFrame.crosstab交叉表的用 法和区别。 4.9.1 数据透视表 典型的数据格式是扁平的，只包含行和列，不方便总结信息。数据透视表(pivot table) 是一种类似GroupBy的操作方法，常见于Excel中。数据透视 表将每一列数据作为输入，输出将数据不断细分为多个维度累计信息的二维数据表。 数据透视表用来做数据透视，可以通过一个或多个键分组聚合DataFrame中的数据，通过aggfunc参数决定聚合类型，是groupby的高级功能。 透视表就是将指定原有DataFrame的列分别作为行索引和列索引，然后对指定的列应用聚集函数(默认情况下式mean函数)。 为什么要使用pivot_table？ 灵活性高，可以随意定制你的分析计算要求 脉络清晰易于理解数据 操作性强，报表神器
Python 数据分析&pandas基础.rar
03-24
Python 数据分析&pandas基础.rar
左手pandas右手Python，带你学习数据透视表
01-29
数据透视表是数据分析工作中经常会用到的一种工具。Excel本身具有强大的透视表功能，Python中pandas也有透视表的实现。本文使用两个工具对同一数据源进行相同的处理，旨在通过对比的方式，帮助读者加深对数据透视表的理解。
Pandas 是一个功能强大的 Python 数据分析库
最新发布
05-10
pandas Pandas 是一个功能强大的 Python 数据分析库，它在数据分析和处理领域有着广泛的应用场景： 1. **数据清洗**：Pandas 提供了丰富的函数和方法来处理缺失数据、去除重复数据、数据类型转换等，帮助用户将原始数据清洗成适合分析的格式。 2. **数据分析**：Pandas 支持各种统计分析操作，如计算均值、中位数、方差等，以及相关性分析，使用户能够洞察数据之间的关系和趋势。 3. **数据探索**：在 Jupyter Notebook 等交互式环境中，Pandas 可以用于逐行数据探索和建模，使得数据分析过程更加直观和灵活。 4. **数据可视化**：虽然 Pandas 自身不是专门的可视化库，但它可以与 Matplotlib、Seaborn 等可视化库结合使用，生成各种图形，如条形图、直方图和散点图等，帮助用户更直观地理解数据。 5. **数据转换**：Pandas 支持数据的重塑和转换，如透视表（pivot tables）、交叉表（crosstab）、时间序列转换等，这些功能在处理复杂数据集时非常有用。 6. **数据合并**：Pandas
python入门——Pandas透视表(pivot_table)
热门推荐
weixin_49249463的博客
10-29 2万+
透视表是一种可以对数据动态排布并且分类汇总的表格格式。pivot_table是pandas中数据透视表的函数。本文简单实践一下pivot_table()函数的使用。
pandas 数据透视表
ljh18885466426的博客
09-01 7945
**我们可以使用df.pivot_table() ，来实现同样的功能，参数如下 index：行索引，传入原始数据的列名 columns：列索引，传入原始数据的列名 values: 要做聚合操作的列名 aggfunc：聚合函数** 数据透视表 学习目标 知道什么是透视表 掌握Pandas透视表（pivot_table）的使用方法 1 Pandas 透视表概述 透视表是一种可以对数据动态排布并且分类汇总的表格格式。或许大多数人都在Excel使用过数据透视表，也体会到它的强大功能，而在pandas中它被
【Pandas中的交叉表（Crosstab）详解】
武帝为此的博客
08-22 5019
交叉表（Crosstab）是数据分析中一种常见的数据透视表，用于展示两个或多个分类变量之间的频率分布关系。在Python的数据处理库Pandas中，我们可以使用函数来轻松地创建交叉表，crosstab()
pandas交叉表与透视表pd.crosstab()和pd.pivot_table()函数详解
我的个人博客
12-01 6491
pandas中交叉表与透视表，什么是交叉表，什么是透视表pandas.crosstab(index,columns,values=None,rownames=None,colnames=None,aggfunc=None）DataFrame.pivot_table(values=None,index=None,columns=None,aggfunc='mean',fill_value=None,margins=False,dropna=True)
python3学习--使用pandas 数据透视表分析数据--入门示例
penriver的博客
08-06 1322
python3学习--使用pandas 数据透视表分析数据--入门示例
数据分析之Pandas（九）高级处理-交叉表与透视表
提莫君的博客
03-18 1628
交叉表与透视表 交叉表与透视表什么作用 探究股票的涨跌与星期几有关？ 以下图当中表示，week代表星期几，1,0代表这一天股票的涨跌幅是好还是坏，里面的数据代表比例 可以理解为所有时间为星期一等等的数据当中涨跌幅好坏的比例 使用crosstab(交叉表)实现上图 交叉表：交叉表用于计算一列数据对于另外一列数据的分组个数(寻找两个列之间的关系) pd.crosstab(value1, val...
Pandas中透视表和交叉表
但行好事，莫问前程
07-01 2077
一、 什么是透视表？ 二、为什么要使用pivot_table？ 三、pivot_table api认识 四、如何使用pivot_table？ 五、pivot_table vs. groupby 六、轴转换(透视功能)unstack 七、交叉表crosstab 八、小结
【python】生成笛卡尔积(交叉表)DataFrame和numpy
小屋
11-03 1万+
有文件A：，B：，希望通过A,B生成C： 就是笛卡尔积操作。 一，当数据在numpy数组中，数据为：A=['a','b','c','d'] B=['1','2','3','4']其实方法一的思想很简单粗暴：A,B元素存储在list中，将A中每个元素复制len(B)次，然后将之与B进行行合并；得到的结果再与result列合并。最后输出result
Python数据分析数据可视化-----确实比较麻烦的Pandas分组转换及透视表交叉表（持续更新中）
duohuanxi的博客
04-11 543
昨天晚上写作业写到太晚了，所以今早来补上本来昨晚该发的博客~ 这篇博客首先写一下分组转换方法transform （1）数据分组转换----transform 创建Dataframe，并按‘key1’分组求均值 df = pd.DataFrame({'data1':np.random.rand(5), 'data2':np.random.rand(5), ...
pandas9_高级处理_交叉表和透视表
qq_44184049的博客
09-16 186
import numpy as np import pandas as pd 交叉表：交叉表用于计算一列数据对于另外一列数据的分组个数(用于统计分组频率的特殊透视表) pd.crosstab(value1, value2) 透视表：透视表是将原有的DataFrame的列分别作为行索引和列索引，然后对指定的列应用聚集函数 DataFrame.pivot_table([], index=[]) 一、使用pd.crosstab() 案例分析 数据准备 data = pd.read_csv
pandas透视表、排序、结果查询一次搞清
Darin2017的博客
03-03 1829
一文搞清常用透视表的常规操作
Pandas玩转数据透视表，用它就够了！
张俊红的个人博客
06-05 5651
对于数据透视表，相信对于 Excel 比较熟悉的小伙伴都知道如何使用它，并了解它的强大之处，而在pandas中要实现数据透视就要用到pivot_table了。导入示例数据首先导入演示的数据集。importpandasaspd df=pd.read_csv('销售目标.csv') df.head()参数说明主要参数：data：待操作的 DataFramevalu...
Python数据分析小技巧：如何在Pandas中实现数据透视表?
xili1342的博客
04-11 1256
数据透视表是数据分析中非常有用的工具，可以帮助我们快速了解数据的结构、关联和趋势。在这个例子中，我们首先使用groupby()函数来按照产品和日期对销售数据进行分组，并计算销售额的总和。接着，我们使用unstack()函数来将日期作为列，产品作为行，重新排列数据。最后，我们可以得到一个类似的数据透视表，以便更好地分析和理解销售数据。我们想要创建一个数据透视表，显示每个产品在每个日期的总销售额。除了使用pivot_table()函数，我们还可以使用groupby()和unstack()函数来实现数据透视表。
pandas 交叉表 透视表
05-25
pandas 中的交叉表和透视表都是用于数据分析和汇总的工具，但它们在处理数据时有所不同。 交叉表可以帮助我们快速计算两个或多个因素之间的频数，而透视表则可以帮助我们将数据按照不同的维度进行分组并进行聚合计算。 下面我将分别介绍一下 pandas 中的交叉表和透视表。 ## 交叉表 pandas 中的 `crosstab()` 函数可以帮助我们创建交叉表。该函数的语法如下： ```python pandas.crosstab(index, columns, values=None, aggfunc=None, margins=False, margins_name='All', dropna=True, normalize=False) ``` 其中： - `index`：用于指定行索引的列或列名。 - `columns`：用于指定列索引的列或列名。 - `values`：用于指定填充交叉表的数据列或列名。如果不指定，则默认为计数。 - `aggfunc`：用于指定对数据进行聚合计算的函数。默认为计数。 - `margins`：用于指定是否在交叉表中添加行/列合计。默认为 False。 - `margins_name`：用于指定行/列合计的名称。默认为 "All"。 - `dropna`：用于指定是否删除包含缺失值的行/列。默认为 True。 - `normalize`：用于指定是否对交叉表进行标准化。 下面是一个示例： ```python import pandas as pd data = { "Gender": ["F", "M", "F", "M", "M", "M", "F", "F", "M", "F"], "Age": [30, 25, 35, 40, 30, 45, 35, 25, 30, 35], "City": ["Beijing", "Shanghai", "Guangzhou", "Shenzhen", "Shanghai", "Beijing", "Shenzhen", "Guangzhou", "Beijing", "Shenzhen"] } df = pd.DataFrame(data) print(df) # 创建交叉表 ct = pd.crosstab(df["Gender"], df["City"]) print(ct) ``` 输出结果为： ``` Gender Age City 0 F 30 Beijing 1 M 25 Shanghai 2 F 35 Guangzhou 3 M 40 Shenzhen 4 M 30 Shanghai 5 M 45 Beijing 6 F 35 Shenzhen 7 F 25 Guangzhou 8 M 30 Beijing 9 F 35 Shenzhen City Beijing Guangzhou Shanghai Shenzhen Gender F 1 1 0 2 M 2 0 2 1 ``` 上面的代码首先创建了一个包含 Gender、Age 和 City 三列数据的 DataFrame。然后使用 `crosstab()` 函数创建了一个交叉表，用于统计不同性别和城市的人数。 从输出结果可以看出，交叉表中的行和列分别对应于原始数据中的 Gender 和 City 列。交叉表中的值表示对应行和列的交叉处的人数。 ## 透视表 pandas 中的 `pivot_table()` 函数可以帮助我们创建透视表。该函数的语法如下： ```python pandas.pivot_table(data, values=None, index=None, columns=None, aggfunc='mean', fill_value=None, margins=False, margins_name='All', dropna=True) ``` 其中： - `data`：用于指定要使用的数据集。 - `values`：用于指定要进行聚合计算的数据列或列名。 - `index`：用于指定行索引的列或列名。 - `columns`：用于指定列索引的列或列名。 - `aggfunc`：用于指定对数据进行聚合计算的函数。默认为平均值。 - `fill_value`：用于指定要用于填充缺失值的值。 - `margins`：用于指定是否在透视表中添加行/列合计。默认为 False。 - `margins_name`：用于指定行/列合计的名称。默认为 "All"。 - `dropna`：用于指定是否删除包含缺失值的行/列。默认为 True。 下面是一个示例： ```python import pandas as pd data = { "Gender": ["F", "M", "F", "M", "M", "M", "F", "F", "M", "F"], "Age": [30, 25, 35, 40, 30, 45, 35, 25, 30, 35], "City": ["Beijing", "Shanghai", "Guangzhou", "Shenzhen", "Shanghai", "Beijing", "Shenzhen", "Guangzhou", "Beijing", "Shenzhen"] } df = pd.DataFrame(data) print(df) # 创建透视表 pt = pd.pivot_table(df, values="Age", index="City", columns="Gender", aggfunc="mean") print(pt) ``` 输出结果为： ``` Gender Age City 0 F 30 Beijing 1 M 25 Shanghai 2 F 35 Guangzhou 3 M 40 Shenzhen 4 M 30 Shanghai 5 M 45 Beijing 6 F 35 Shenzhen 7 F 25 Guangzhou 8 M 30 Beijing 9 F 35 Shenzhen Gender F M City Beijing 32.500000 37.500000 Guangzhou 30.000000 NaN Shanghai NaN 27.500000 Shenzhen 35.000000 40.000000 ``` 上面的代码首先创建了一个包含 Gender、Age 和 City 三列数据的 DataFrame。然后使用 `pivot_table()` 函数创建了一个透视表，用于统计不同城市和性别的平均年龄。 从输出结果可以看出，透视表中的行和列分别对应于原始数据中的 City 和 Gender 列。透视表中的值表示对应行和列的交叉处的平均年龄。如果原始数据中没有某一行/列的数据，则透视表中对应的单元格会显示为 NaN。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值