pandas第四章——变形

最新推荐文章于 2022-05-14 16:52:24 发布
最新推荐文章于 2022-05-14 16:52:24 发布
阅读量198 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44617944/article/details/108944599
版权

⼀、透视表

piovt（功能较少）

展开

df=pd.read_csv(r'data\table.csv')
df.pivot(index='ID',columns='Gender',values='Height').head()

Gender      F      M
ID
1101      NaN  173.0
1102    192.0    NaN
1103      NaN  186.0
1104    167.0    NaN
1105    159.0    NaN

pivot_table

功能更多，速度更慢

pd.pivot_table(df,index='ID',columns='Gender',values='Height').head()

Gender      F      M
ID
1101      NaN  173.0
1102    192.0    NaN
1103      NaN  186.0
1104    167.0    NaN
1105    159.0    NaN

1.aggfunc

对组内进行聚合统计

pd.pivot_table(df,index='School',columns='Gender',values='Height',aggfunc=['mean','sum']).head()

              mean               sum      
Gender           F           M     F     M
School
S_1     173.125000  178.714286  1385  1251
S_2     173.727273  172.000000  1911  1548

2.margins

汇总边际状态

pd.pivot_table(df,index='School',columns='Gender',values='Height',aggfunc=['mean','sum'],margins=True).head()

              mean                           sum
Gender           F           M         All     F     M   All
School
S_1     173.125000  178.714286  175.733333  1385  1251  2636
S_2     173.727273  172.000000  172.950000  1911  1548  3459
All     173.473684  174.937500  174.142857  3296  2799  6095

3.行、列、值都可为多级索引

pd.pivot_table(df,index=['School','Class'],
 columns=['Gender','Address'],
 values=['Height','Weight'])

               Height                                                                 ...   Weight
Gender              F                                                     M           ...        F                 M
Address      street_1 street_2 street_4 street_5 street_6 street_7 street_1 street_2  ... street_6 street_7 street_1 street_2 street_4 street_5 street_6 street_7 
School Class                                                                          ...
S_1    C_1        NaN    179.5    159.0      NaN      NaN      NaN    173.0    186.0  ...      NaN      NaN     63.0     82.0      NaN      NaN      NaN      NaN 
       C_2        NaN      NaN    176.0    162.0    167.0      NaN      NaN      NaN  ...     63.0      NaN      NaN      NaN      NaN     68.0     53.0      NaN 
       C_3      175.0      NaN      NaN    187.0      NaN      NaN      NaN    195.0  ...      NaN      NaN      NaN     70.0     68.0      NaN      NaN     82.0 
S_2    C_1        NaN      NaN      NaN    159.0    161.0      NaN      NaN      NaN  ...     61.0      NaN      NaN      NaN     71.0      NaN      NaN     84.0 
       C_2        NaN      NaN      NaN      NaN      NaN    188.5    175.0      NaN  ...      NaN     76.5     74.0      NaN     91.0    100.0      NaN      NaN 
       C_3        NaN      NaN    157.0      NaN    164.0    190.0      NaN      NaN  ...     81.0     99.0      NaN      NaN     73.0     88.0      NaN      NaN 
       C_4        NaN    176.0      NaN      NaN    175.5      NaN      NaN      NaN  ...     57.0      NaN      NaN      NaN      NaN      NaN      NaN     82.0 

[7 rows x 24 columns]

crosstab（交叉表）

典型用途分组统计（暂时不支持分组统计）

pd.crosstab(index=df['Address'],columns=df['Gender'])

Gender    F  M
Address
street_1  1  2
street_2  4  2
street_4  3  5
street_5  3  3
street_6  5  1
street_7  3  3

1.values和aggfunc

分组对数据进行聚合操作，这两个参数必须成对出现

pd.crosstab(index=df['Address'],columns=df['Gender'],values=1,aggfunc='count')

Gender    F  M
Address
street_1  1  2
street_2  4  2
street_4  3  5
street_5  3  3
street_6  5  1
street_7  3  3

二、其他变形方法

melt

将展开的数据压缩

pivoted=df.pivot(index='ID',columns='Gender',values='Math').head()
stacked=pivoted.reset_index().melt(id_vars=['ID'],value_vars=['F','M'],value_name='Math').dropna().set_index('ID').sort_index()

     Gender  Math
ID
1101      M  34.0
1102      F  32.5
1103      M  87.2
1104      F  80.4
1105      F  84.8

压缩与展开

1.stack

压缩，两个参数level和dropna
可看做将横向的索引放到纵向，类似melt，参数level可指定变化的列索引是哪⼀层

df_s = pd.pivot_table(df,index=['Class','ID'],columns='Gender',values=['Height','Weight'])
df_stacked = df_s.stack()
df_stacked.groupby('Class').head(2)

                   Height  Weight
Class ID   Gender
C_1   1101 M        173.0    63.0
      1102 F        192.0    73.0
C_2   1201 M        188.0    68.0
      1202 F        176.0    94.0
C_3   1301 M        161.0    68.0
      1302 F        175.0    57.0
C_4   2401 F        192.0    62.0
      2402 M        166.0    82.0

2. unstack

功能类似pivot_table

df_stacked.unstack()
df_stacked.unstack().equals(df_s)

True

三、哑变量与因子化

1. Dummy Variable（哑变量）

df_d = df[['Class','Gender','Weight']]

将上面的表格前两列转为哑变量

pd.get_dummies(df_d[['Class','Gender']]).head()

    Class_C_1  Class_C_2  Class_C_3  Class_C_4  Gender_F  Gender_M
0           1          0          0          0         0         1
1           1          0          0          0         1         0
2           1          0          0          0         0         1
3           1          0          0          0         1         0
4           1          0          0          0         1         0

2. factorize方法

用于自然数编码并且缺失值会被记做-1，其中sort参数表示是否排序后赋值

codes, uniques = pd.factorize(['b', None, 'a', 'c', 'b'], sort=True)
display(codes)
display(uniques)

[ 1 -1  0  2  1]
['a' 'b' 'c']

练习一

在这里插入图片描述

a

res=pd.pivot_table(df,index=['State','COUNTY','SubstanceName'],columns='YYYY',values='DrugReports',fill_value='-')

YYYY                       2010 2011 2012 2013 2014 2015 2016 2017
State COUNTY SubstanceName
KY    ADAIR  Buprenorphine    -    3    5    4   27    5    7   10
             Codeine          -    -    1    -    -    -    -    1
             Fentanyl         -    -    1    -    -    -    -    -
             Heroin           -    -    1    2    -    1    -    2
             Hydrocodone      6    9   10   10    9    7   11    3

res.reset_index().rename_axis(columns={'YYYY':''})

  State COUNTY  SubstanceName 2010 2011 2012 2013 2014 2015 2016 2017
0    KY  ADAIR  Buprenorphine    -    3    5    4   27    5    7   10
1    KY  ADAIR        Codeine    -    -    1    -    -    -    -    1
2    KY  ADAIR       Fentanyl    -    -    1    -    -    -    -    -
3    KY  ADAIR         Heroin    -    -    1    2    -    1    -    2
4    KY  ADAIR    Hydrocodone    6    9   10   10    9    7   11    3

b

melted = result.melt(id_vars=result.columns[:3],value_vars=result.columns[-8:],var_name='YYYY',value_name='DrugReports').query('DrugReports != "-"')
res = melted.sort_values(by=['State','COUNTY','YYYY','SubstanceName']).reset_index().drop(columns='index')

  State COUNTY  SubstanceName  YYYY DrugReports
0    KY  ADAIR    Hydrocodone  2010           6
1    KY  ADAIR      Methadone  2010           1
2    KY  ADAIR  Buprenorphine  2011           3
3    KY  ADAIR    Hydrocodone  2011           9
4    KY  ADAIR       Morphine  2011           2

练习二

在这里插入图片描述

a

pd.pivot_table(df,index=['日期','时间','维度','经度'],columns='方向',values=['烈度','深度','距离'],fill_value='-').stack(level=0).rename_axis(index={None:'地震参数'})

方向                                  east north north_east north_west south south_east south_west west
日期         时间          维度   经度   参数
1912.08.09 12:29:00 AM 40.6 27.2 深度    -     -          -          -     -         16          -    -
                                 烈度    -     -          -          -     -        6.7          -    -
                                 距离    -     -          -          -     -        4.3          -    -
1912.08.10 12:23:00 AM 40.6 27.1 深度    -     -          -          -     -          -         15    -
                                 烈度    -     -          -          -     -          -          6    -

b

df_result = res.unstack().stack(0)[(~(res.unstack().stack(0)=='-')).any(1)].reset_index()
df_result.columns.name=None
df_result = df_result.sort_index(axis=1).astype({'深度':'float64','烈度':'float64','距离':'float64'})

         方向         日期         时间  深度  烈度  经度   维度 距离
0  south_east  1912.08.09  12:29:00 AM  16.0  6.7  27.2  40.6  4.3
1  south_west  1912.08.10  12:23:00 AM  15.0  6.0  27.1  40.6  2.0
2  south_west  1912.08.10  12:30:00 AM  15.0  5.2  27.1  40.6  2.0
3  south_east  1912.08.11  12:19:04 AM  30.0  4.9  27.2  40.6  4.3
4  south_west  1912.08.11  12:20:00 AM  15.0  4.5  27.1  40.6  2.0
陈述c
关注
pandas-pivot_table数据透视表
LeFran的博客
07-30 309
pivot_table数据透视表API 数据透视表就是基于原数据表、按照一定规则呈现汇总数据 API df.pivot_table( index='列名1', columns='列名2', values='列名3', aggfunc='内置聚合函数名'， margins=True # 默认是False, 如果为True，就在最后一行和最后一列，按行按列分别执行aggfunc参数规定的聚合函数 ) 使用说明：以列名1作为索引，根据列名2进行分组，对列名3使用
pandas学习——第四次任务——变形
christineNAN的博客
04-28 340
Task04：变形 理论部分 熟悉3个透视函数的区别与用法 理解stack和unstack状态 掌握变形函数的各类使用场合 了解哑变量和因子化的用法 练习部分 非法药物数据集的变形操作 某国地震数据集的变形操作 df = pd.read_csv('data/Drugs.csv',index_col=['State','COUNTY']).sort_index() df.head() 【练...
pandas.pivot()函数的使用
weixin_48364077的博客
08-17 955
pandas.pivot() 具体使用看实例 首先建立一个数据框数据 import pandas as pd df = pd.DataFrame({'foo': ['one', 'one', 'one', 'two', 'two', 'two'], 'bar': ['A', 'B', 'C', 'A', 'B', 'C'], 'baz': [1, 2, 3, 4, 5, 6],
精通Pandas变形操作：pivot_table()、get_dummies()、stack()函数
OuDiShenmiss的博客
04-28 1130
>>> import numpy as np >>> import pandas as pd >>> df = pd.read_csv('data/table.csv') >>> df.head() 一、透视表 1. pivot 一般状态下，数据在DataFrame会以压缩（stacked）状态存放，例如上面的Gender，...
Pandas变形，透视表与stack
angela_jin的博客
04-27 402
透视表与stack 一、透视表 1.pivot 一般状态下，数据在DataFrame会以压缩（stacked）状态存放，例如上面的Gender，两个类别被叠在一列中，pivot函数可将某一列作为新的cols： df.pivot(index='ID',columns='Gender',values='Height').head() #ID，性别身高都是表中的列，根据性别不同分两列，表中内容为身高 ...
pandas33 pivot重塑（ tcy）
tcy-阿春
01-03 261
1.函数  DataFrame.pivot（index = None，columns = None，values = None ） 用途： # 根据列值重塑数据（生成“数据透视表”）。 # 使用指定索引 / 列中的唯一值来形成生成的DataFrame的轴。 # 此函数不支持数据聚合，多个值将导致列中的MultiIndex。 返回： # 由给定索引/列值组织的重新...
Pandas（三）—— 变形、连接
share16的博客
05-14 997
Pandas（三）： 变形、连接
Pandas学习笔记4——变形
qq_42662568的博客
04-28 1277
Task04：变形（2天） Pandas基础变形一、透视表1. pivot一般状态下，数据在DataFrame会以压缩（stacked）状态存放，例如上面的Gender，两个类别被叠在一列中，pivot函数可将某一列作为新的cols：然而pivot函数具有很强的局限性，除了功能上较少之外，还不允许values中出现重复的行列索引对（pair），例如下面的语句就会报错：因此，更多的时候会选择使用强...
Pandas学习笔记——索引
lzzqj的博客
12-22 282
一、索引器 1.表的列索引 列索引是最常见的索引形式，一般通过 [] 来实现。通过 [列名] 可以从 DataFrame 中取出相应的列，返回值为 Series ，例如从表中取出姓名一列： df = pd.read_csv('C:/Users/lz/Desktop/joyful-pandas-master/data/learn_pandas.csv', usecols =['School', 'Grade', 'Name', 'Gender', 'Weight', 'Tra
Pandas组队学习(上)——综合练习题答案
KF_Guan的博客
05-01 1169
第一阶段学习总结：Datawhale组织的Pandas组队学习暂告一段落。快乐pandas以自主学习、助教答疑、定期打卡等形式，课程资料编写比较详细，配合思考题和练习巩固，无奈于本人较菜，对所学的知识掌握还不够透彻，完成这次综合练习断断续续花了两天时间，后面一定要抽时间复盘之前所学的内容。 全面学习基础内容有助于建立体系，了解各大功能模块，在使用时才能有所了解，找准方向。因此后面会继续参加pand...
Tushare Day6—— 第18章 资产收益计算（嘻嘻嘻）
绒绒的Routine
02-21 816
资产收益计算 1  通过接口导入茅台股2019至今的数据2  获取收盘价列并错位合并求单期收益率2.1  获取收盘价列2.2  索引设置为时间列2.3  下移得到延迟一期收盘价2.4  将收盘价与延迟一期收盘价合并为表格2.5  计算延迟一期收益率3  计算多期收益3.1  将收盘价、延迟一期收盘价及收益率合并为一个表格3.2&n
Python 全栈 400 之Pandas数据分析练习
相信相信的力量
10-28 535
288 Pandas 读取 URL 路径的文件 数据输入路径，可以是文件路径，也可以是 URL，或者实现 read 方法的任意对象。 如下经典的数据集 iris，直接通过 URL 获取。 In [160]: pd.read_csv('https://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data') Out[160]...
Pandas_规整数据_转换数据_pivot()
学习笔记
11-21 2442
转换数据 将 column values 设置为 index / columns，重构DataFrame (将列数据设定为行索引和列索引(改变 DataFrame 的结构，不做任何运算)) df.pivot() 将长数据集转换成宽数据集 df.pivot(index=None， columns=None，values=None) 参数 类型 说明 index ...
weixin121作品集展示微信小程序+ssm.rar
09-13
所有源码，都可正常运行
weixin090体育资讯软件的实现+ssm.rar
09-13
所有源码，都是可以运行起来的
基于java的财务管理系统设计与实现.docx
09-13
基于java的财务管理系统设计与实现.docx
吕嘉诚_训练班表.pdf
最新发布
09-13
吕嘉诚_训练班表.pdf
springboot王者荣耀游戏KPL比赛网上售票系统毕业论文.docx
09-13
springboot王者荣耀游戏KPL比赛网上售票系统毕业论文.docx
pandas计算含缺失值中列平均值_Pandas库基础分析——数据规整化处理
06-08
要计算含有缺失值的列的平均值，可以使用 Pandas 库中的 mean() 函数，并将 na.rm 参数设置为 True。例如，假设有一个名为 df 的 DataFrame，其中包含一个名为 column1 的列，其中包含一些缺失值，可以使用以下代码计算 column1 列的平均值： ```python import pandas as pd # 创建包含缺失值的 DataFrame df = pd.DataFrame({'column1': [1, 2, 3, None, 5]}) # 计算列的平均值 mean_value = df['column1'].mean(na_rm=True) print(mean_value) ``` 输出结果为： ``` 2.75 ``` 在这个例子中，mean() 函数计算了 column1 列的平均值，并将 na.rm 参数设置为 True 来排除缺失值的影响。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值