透视表可以根据一个或多个键对数据进行聚合,并根据行和列上得分组建将数据分配到各个矩形区域中。在Python和pandas中,也有透视表的使用。
先读取数据
import pandas as pd
import numpy as np
data = pd.read_excel('豆瓣电影数据.xlsx', index_col=0, encoding='str')
df = data.head(100)
共100条
使用透视表
1、以产地为索引,计算各个数字字段的均值
# 以产地为索引,计算各个数字字段的均值
pd.pivot_table(d, index=['产地'])
2、设置多索引
# 设置多索引
pd.pivot_table(d, index=['产地', '年代'])
3、指定要统计的列数据
# 指定要统计的列数据
pd.pivot_table(d, index=['年代', '产地'], values=['评分'])
4、指点统计方法
# 指定函数,统计和
pd.pivot_table(d, index=['产地', '年代'], values=['投票人数'], aggfunc=np.sum)
5、同时计算多个统计量
# 同时计算平均值和总和
pd.pivot_table(d, index=['产地'], values=['投票人数','评分'], aggfunc=[np.sum,np.mean])
6、非法字符的替换
先添加一条带空值的数据
dic = {
'名字':'复仇者联盟3',
'投票人数':4565142,
'类型':'剧情/科幻',
'产地':'美国',
'上映时间':'1994-09-10 10:00:00',
'时长':np.nan,
'年代':np.nan,
'评分':np.nan,
'首映地点':'美国'
}
s = pd.Series(dic)
s.name = 1024
d.append(s)
使用透视表用0填充空值
# 空值用0替换
pd.pivot_table(d, index=['产地'], values=['投票人数','评分'], aggfunc=[np.sum,np.mean], fill_value=0)
可以看到并没有报错,美国的数据也发生了变化
7、针对不同的数据使用不同的函数
# 对不同的值使用不同的函数
pd.pivot_table(d, index=['产地'], values=['投票人数','评分'],
aggfunc={
'投票人数':np.sum,
'评分':np.mean
},
fill_value=0)
8、透视表过滤
# 透视表过滤
table = pd.pivot_table(d, index=['年代'], values=['投票人数','评分'],
aggfunc={
'投票人数':np.sum,
'评分':np.mean
},
fill_value=0)
可以看到透视表返回的是一个DataFrame
所以我们可以使用dataFrame的方法过滤透视表
例如:取前十条数据