分组和透视实战

最新推荐文章于 2024-05-04 04:47:56 发布
最新推荐文章于 2024-05-04 04:47:56 发布
阅读量8.4k 收藏 1
点赞数
分类专栏： 实战网课  python 文章标签： python 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44039183/article/details/108034153
版权

分组和透视实战

引入相关库

import numpy as np
import pandas as pd
from pandas import Series,DataFrame

参考网站

link='https://projects.fivethirtyeight.com/flights/'

数据获取

半个月的14列20万行的美国航班数据

df=pd.read_csv('../homework/usa_flights.csv')
df.shape

(201664, 14)

’flight_date‘：航班飞行时间；’unique_carrier‘：航空公司号；’origin’：出发机场；‘dest’：到达机场；‘arr_delay’：实际到达目的地的延迟时间；‘cancelled’：是否被取消；‘distance’：距离；‘actual_elapsed_time’：实际飞行时间，这里只考虑‘arr_delay’，不考虑其他delay

df.head()
flight_dateunique_carrierflight_numorigindestarr_delaycancelleddistancecarrier_delayweather_delaylate_aircraft_delaynas_delaysecurity_delayactual_elapsed_time
002/01/2015 0:00AA1JFKLAX-19.002475NaNNaNNaNNaNNaN381.0
103/01/2015 0:00AA1JFKLAX-39.002475NaNNaNNaNNaNNaN358.0
204/01/2015 0:00AA1JFKLAX-12.002475NaNNaNNaNNaNNaN385.0
305/01/2015 0:00AA1JFKLAX-8.002475NaNNaNNaNNaNNaN389.0
406/01/2015 0:00AA1JFKLAX25.0024750.00.00.025.00.0424.0
df.tail()
flight_dateunique_carrierflight_numorigindestarr_delaycancelleddistancecarrier_delayweather_delaylate_aircraft_delaynas_delaysecurity_delayactual_elapsed_time
20165910/01/2015 0:00NK188OAKLAS-16.00407NaNNaNNaNNaNNaN77.0
20166011/01/2015 0:00NK188OAKLAS-4.00407NaNNaNNaNNaNNaN87.0
20166112/01/2015 0:00NK188OAKLAS-7.00407NaNNaNNaNNaNNaN82.0
20166213/01/2015 0:00NK188OAKLAS23.004073.00.00.020.00.0103.0
20166314/01/2015 0:00NK188OAKLAS-7.00407NaNNaNNaNNaNNaN82.0

对’arr_delay’做一个降序的排序

df.sort_values('arr_delay',ascending=False)
flight_dateunique_carrierflight_numorigindestarr_delaycancelleddistancecarrier_delayweather_delaylate_aircraft_delaynas_delaysecurity_delayactual_elapsed_time
1107311/01/2015 0:00AA1595AUSDFW1444.001901444.00.00.00.00.059.0
1021413/01/2015 0:00AA1487OMADFW1392.005831392.00.00.00.00.0117.0
1243003/01/2015 0:00AA1677MEMDFW1384.004321380.00.00.04.00.0104.0
844304/01/2015 0:00AA1279OMADFW1237.005831222.00.015.00.00.0102.0
1032805/01/2015 0:00AA1495EGEDFW1187.007211019.00.0168.00.00.0127.0
.............................................
20155406/01/2015 0:00NK174FLLLGANaN11076NaNNaNNaNNaNNaNNaN
20159407/01/2015 0:00NK180FLLLGANaN11076NaNNaNNaNNaNNaNNaN
20164206/01/2015 0:00NK188LGAMYRNaN1563NaNNaNNaNNaNNaNNaN
20164307/01/2015 0:00NK188LGAMYRNaN1563NaNNaNNaNNaNNaNNaN
20164812/01/2015 0:00NK188LGAMYRNaN1563NaNNaNNaNNaNNaNNaN

201664 rows × 14 columns

获取延误时间最长Top10

df.sort_values('arr_delay',ascending=False)[:10]
flight_dateunique_carrierflight_numorigindestarr_delaycancelleddistancecarrier_delayweather_delaylate_aircraft_delaynas_delaysecurity_delayactual_elapsed_time
1107311/01/2015 0:00AA1595AUSDFW1444.001901444.00.00.00.00.059.0
1021413/01/2015 0:00AA1487OMADFW1392.005831392.00.00.00.00.0117.0
1243003/01/2015 0:00AA1677MEMDFW1384.004321380.00.00.04.00.0104.0
844304/01/2015 0:00AA1279OMADFW1237.005831222.00.015.00.00.0102.0
1032805/01/2015 0:00AA1495EGEDFW1187.007211019.00.0168.00.00.0127.0
3657004/01/2015 0:00DL1435MIAMSP1174.0015011174.00.00.00.00.0231.0
3649504/01/2015 0:00DL1367ROCATL1138.007491112.00.00.026.00.0171.0
5907214/01/2015 0:00DL1687SANMSP1084.0015321070.00.00.014.00.0240.0
3217305/01/2015 0:00AA970LASLAX1042.002361033.00.09.00.00.066.0
5648812/01/2015 0:00DL2117ATLCOS1016.0011841016.00.00.00.00.0193.0

2.计算延误和没有延误所占比例

'arr_delay’大于0表示没有延误，小于0表示有延误
可以使用value_counts统计某一列数值数量的多少

df['cancelled'].value_counts()

0    196873
1      4791
Name: cancelled, dtype: int64

通过apply方法传入lambda表达式来区分’arr_delay‘是否大于零

df['delayed']=df['arr_delay'].apply(lambda x:x>0)
df.head()
flight_dateunique_carrierflight_numorigindestarr_delaycancelleddistancecarrier_delayweather_delaylate_aircraft_delaynas_delaysecurity_delayactual_elapsed_timedelayed
002/01/2015 0:00AA1JFKLAX-19.002475NaNNaNNaNNaNNaN381.0False
103/01/2015 0:00AA1JFKLAX-39.002475NaNNaNNaNNaNNaN358.0False
204/01/2015 0:00AA1JFKLAX-12.002475NaNNaNNaNNaNNaN385.0False
305/01/2015 0:00AA1JFKLAX-8.002475NaNNaNNaNNaNNaN389.0False
406/01/2015 0:00AA1JFKLAX25.0024750.00.00.025.00.0424.0True

统计延误和没有延误航班具体占了多少个

delay_data=df['delayed'].value_counts()

结果是一个Series数据

type(delay_data)

pandas.core.series.Series

delay_data

False    103037
True      98627
Name: delayed, dtype: int64

延误航班占比的计算方法

delay_data[1]/(delay_data[0]+delay_data[1])

0.4890659711202793

3.每一个航空公司延误的情况

根据’unique_carrier’和’delayed’这两个columns做groupby

delay_group=df.groupby(['unique_carrier','delayed'])

delay_group

<pandas.core.groupby.generic.DataFrameGroupBy object at 0x0000023C9F77A048>

显示整个delay_group的数据的情况，显示为一个多级Series

delay_group.size()

unique_carrier  delayed
AA              False       8912
                True        9841
AS              False       3527
                True        2104
B6              False       4832
                True        4401
DL              False      17719
                True        9803
EV              False      10596
                True       11371
F9              False       1103
                True        1848
HA              False       1351
                True        1354
MQ              False       4692
                True        8060
NK              False       1550
                True        2133
OO              False       9977
                True       10804
UA              False       7885
                True        8624
US              False       7850
                True        6353
VX              False       1254
                True         781
WN              False      21789
                True       21150
dtype: int64

通过unstack把这个二级Series转化为DataFrame

df_delay=delay_group.size().unstack()
df_delay
delayedFalseTrue
unique_carrier
AA89129841
AS35272104
B648324401
DL177199803
EV1059611371
F911031848
HA13511354
MQ46928060
NK15502133
OO997710804
UA78858624
US78506353
VX1254781
WN2178921150

引入画图相关库，画图显示

import matplotlib.pyplot as plot

df_delay.plot()

<matplotlib.axes._subplots.AxesSubplot at 0x23c9f4c2ac8>

在这里插入图片描述

传入一些参数改变画图的形式，变成柱状图，显示更加直观

df_delay.plot(kind='barh',stacked=True,figsize=[16,6],colormap='winter')

<matplotlib.axes._subplots.AxesSubplot at 0x23ca7f8fb48>

在这里插入图片描述

4.透视表功能

创建一个透视表，显示每一天的航班的数据情况

flights_by_carrier=df.pivot_table(index='flight_date',columns='unique_carrier',values='flight_num',aggfunc='count')
flights_by_carrier
unique_carrierAAASB6DLEVF9HAMQNKOOUAUSVXWN
flight_date
02/01/2015 0:0015454777592271182425422410462871763142011771763518
03/01/2015 0:001453449711203117441922029372851681123310281603328
04/01/2015 0:0015344587592258183324920610272841731128311581693403
05/01/2015 0:0015324337542212181126420910392881737143211571743506
06/01/2015 0:001400415692205416862492029662791527129410031523396
07/01/2015 0:001420419694210717052282089982841557125911431513398
08/01/2015 0:0014474447312214175922420810092841625133111711643398
09/01/2015 0:0014484477302204176722922210102891631133111691673364
10/01/2015 0:0012854126411584113316820176828512709089121092668
11/01/2015 0:001426432711208215852222069792861558116210611562888
12/01/2015 0:0014454267182280175423620910032811628133710861613324
13/01/2015 0:00140440766620791678210202972272151412619961453374
14/01/2015 0:001414412667214616882262069982791559125811421513374
法蒂芬
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
为什么数据透视表不能分组_问题分组数据透视表项
culiao2169的博客
08-19 6125
为什么数据透视表不能分组 问题分组数据透视表项 (Problem Grouping Pivot Table Items) If you try to group pivot table items in Excel, you might get an error message that says, "Cannot group that selection." For older versions...
Pandas玩转数据（十四) -- 分组和透视功能实战
越看越喜欢啊
07-19 2456
import pandas as pd import numpy as np from pandas import Series, DataFrame # 打开美国航空公司数据 f = open('D:\\imooc Python3数据科学入门与实战\\homework\\usa_flights.csv') df = pd.read_csv(f) df.head() Out[6]: ...
Python3数据分析入门实战_05 玩转Pandas 下 [分组和透视实战Demo]
编程小透明的博客
12-18 334
【数据分析可视化】分组和透视功能实战-航班数据分析
瑞新の博客：bennyrhys
04-21 2305
import numpy as np import pandas as pd from pandas import Series, DataFrame # 航班数据半个月20w条 link = '/Users/bennyrhys/Desktop/数据分析可视化-数据集/homework/usa_flights.csv' df = pd.read_csv(link) df.head() ...
pandas数据处理实践五（透视表pivot_table、分组和透视表实战Grouper和pivot_table）
进击的菜鸟
10-06 5747
建议大家多研究pandas的官方文档 透视表： DataFrame.pivot_table（values = None，index = None，columns = None，aggfunc ='mean'，fill_value = None，margin = False，dropna = True，margins_name ='All' ） 创建一个电子表格样式的数据透视表作为DataFr...
excel数据透视表之交叉表分组
天阑之蓝的博客
04-13 9102
今天在练习《商务与经济统计》课后题时用到了以下EXCEL数据处理的技巧 excel数据透视表之交叉表分组。 要求： 在excel中插入数据透视表： 并将x作为行，y作为列，同时以y的计数项作为值。 按照题目要求： 先对x进行分组： 选中行标签第一个数，然后选择分组选择 按照题目要求设置参数： 结果如下： 同理对列标签也是如此： 结果如下： 完成了交叉表的分组。 ...
T-SQL——数据透视和逆透视
最新发布
2401_84091663的博客
05-04 674
《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》，点击传送门，即可获取！按照数据库第一范式：一个实体中不应该包含重复类型的特性，对应到表就是：类似的值不能在一个表的多个列上重复创建表应该按照一维表的格式创建，记录产生信息。若是建表的时候创建为二维表，将所有的种类做为字段，则可能出现表的字段非常的多，当种类有所添加的时候，后续还要继续添加字段。一维表方便存储数据，同样也是便于后期查询二维表可以直观的表现数据的信息，是用于展示的报表和报告1.1 使用标准SQL进行数据透视–注意这里实
pandas来进行分组聚合的计算(实战)
m0_71975156的博客
06-05 536
本次从实战的角度来介绍如何使用pandas库来进行分组聚合的计算(简单的学习了一下分组函数的用法和计算，如有错误欢迎指出。
Python 入门爬虫和数据分析实战
08-16
此外，学习如何使用Pandas进行数据切片、分组和透视，以探索数据间的关联。最后，用Matplotlib将分析结果以图形形式展示，让数据讲述故事。 除了基础工具，你还可以接触更高级的数据分析库，如Seaborn用于更美观的...
Excel数据透视表
07-18
- **分组和排序**：对行标签或列标签进行分组，可按照日期、数字或自定义顺序排序。 - **筛选**：应用条件筛选，只显示符合特定条件的数据。 4. **数据透视表的高级功能** - **报表筛选**：允许用户设置多级筛选...
Excel实战技巧精粹：Excel模板1000例
07-02
3. 数据汇总：利用SUBTOTAL函数进行分组计算，使用PivotTable快速创建数据透视表。 三、公式与函数进阶 1. 条件逻辑：运用IF、IFERROR、AND、OR等函数实现条件判断。 2. 查找与引用：掌握绝对引用、相对引用和混合...
Python数据分析实战与运用之数据分析篇
03-10
Pandas进阶运用是数据分析的高级知识，包括数据整合、数据的分组和汇总、透视图和交叉表等操作等。掌握Pandas进阶运用知识，能够帮助学员更好地进行数据分析。 _Pandas数据预处理_ Pandas数据预处理是数据分析的...
重命名DataFrame的index
热门推荐
weixin_44039183的博客
08-08 1万+
重命名DataFrame的index重命名DataFrame的index引入相关库DataFrame的index的重命名map的回顾 重命名DataFrame的index 引入相关库 import numpy as np import pandas as pd from pandas import Series,DataFrame DataFrame的index的重命名 创建一个3*3的DataFrame df1=DataFrame(np.arange(9).reshape(3,3),index=['BJ
DataFrame的merge操作
weixin_44039183的博客
08-12 1万+
DataFrame的merge操作DataFrame的merge操作引入相关库merge操作on方法how方法url链接 DataFrame的merge操作 引入相关库 import numpy as np import pandas as pd from pandas import Series,DataFrame merge操作 创建一个两个DataFrame df1=DataFrame({'key':['X','Y','Z','X'],'data_set_1':[1,2,3,4]}) df1
时间序列数据的采样和画图
weixin_44039183的博客
08-14 1万+
时间序列数据的采样和画图时间序列数据的采样和画图引入相关库时间序列数据的采样时间序列数据的画图 时间序列数据的采样和画图 引入相关库 import numpy as np import pandas as pd from pandas import Series,DataFrame 时间序列数据的采样 使用date_range创建一个datetime对象，从2016-01-01开始，以天为间隔，一共366天 t_range=pd.date_range('2016-01-01','2016-12-31')
Series和DataFrame的简单数学运算
weixin_44039183的博客
08-08 9930
Series和DataFrame的简单数学运算Series和DataFrame的简单数学运算操作学习引入相关库Series的数学运算DataFrame的运算DataFrame内置的运算 Series和DataFrame的简单数学运算操作学习 import numpy as np import pandas as pd from pandas import Series,DataFrame 引入相关库 import numpy as np import pandas as pd from pandas imp
数据聚合技术Aggregation
weixin_44039183的博客
08-15 9817
数据聚合技术Aggregation数据聚合技术Aggregation引入相关库数据获取数据聚合 数据聚合技术Aggregation 引入相关库 import numpy as np import pandas as pd from pandas import Series,DataFrame 数据获取 df=pd.read_csv('../homework/city_weather.csv') g=df.groupby('city') 数据聚合 通过agg函数求最大值 g.agg('max')

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值