Pandas进阶(第一关，第二关）

简介
Pandas是基于NumPy的一种工具，该工具是为了解决数据分析任务而创建的。Pandas纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。Pandas提供了大量快速便捷地处理数据的函数和方法。使Python成为强大而高效的数据分析环境的重要因素之一。

本实训的主要内容是：1.Pandas使用分组聚合进行组内计算，2.创建透视表和交叉表。本实训需要学员对Pandas的数据结构和统计函数有一定的了解。
第1关：Pandas分组聚合
任务描述
相关知识
分组
单列和多列分组
Series系列分组
通过数据类型或者字典分组
获取单个分组
对分组进行迭代
聚合
应用单个聚合函数
应用多个聚合函数
自定义函数传入agg()中
对不同的列使用不同的聚合函数
编程要求
测试说明
任务描述
本关任务：使用Pandas加载drinks.csv文件中的数据，根据数据信息求每个大洲红酒消耗量的最大值与最小值的差以及啤酒消耗量的和。

相关知识
分组聚合的流程主要有三步：

分割步骤将DataFrame按照指定的键分割成若干组；

应用步骤对每个组应用函数，通常是累计、转换或过滤函数；

组合步骤将每一组的结果合并成一个输出数组。

分组
通常我们将数据分成多个集合的操作称之为分组，Pandas中使用groupby()函数来实现分组操作。

单列和多列分组
对分组后的子集进行数值运算时，不是数值的列会自动过滤

import pandas as pd
data = {‘A’: [1, 2, 2, 3, 2, 4],
‘B’: [2014, 2015, 2014, 2014, 2015, 2017],
‘C’: [“a”, “b”, “c”, “d”, “e”, “f”],
‘D’: [0.5, 0.9, 2.1, 1.5, 0.5, 0.1]
}
df = pd.DataFrame(data)
df.groupby(“B”) #单列分组 返回的是一个groupby对象
df.groupby([“B”,“C”]) #多列分组
Series系列分组
选取数据帧中的一列作为index进行分组：

df[“A”].groupby(df[“B”]) #df的 A 列根据 B 进行分组
通过数据类型或者字典分组
数据类型分组：

df.groupby(df.dtypes,axis=1) # axis=1表示按列分组，以数据类型为列名
传入字典分组:

dic = {“A”: “number”, “B”: “number”, “C”: “str”, “D”: “number”}
df.groupby(dic, axis=1) #按列分组，列名是字典的值
获取单个分组
使用get_group()方法可以选择一个组。

df.groupby(“A”).get_group(2)
输出：

A B C D
1 2 2015 b 0.9
2 2 2014 c 2.1
4 2 2015 e 0.5
对分组进行迭代
GroupBy对象支持迭代，可以产生一组二元元组（由分组名和数据块组成）。

for name,data in df.groupby(“A”):
print(name)
print(data)
输出：

1
A B C D
0 1 2014 a 0.5
2
A B C D
1 2 2015 b 0.9
2 2 2014 c 2.1
4 2 2015 e 0.5
3
A B C D
3 3 2014 d 1.5
4
A B C D
5 4 2017 f 0.1
聚合
聚合函数为每个组返回单个聚合值。当创建了groupby对象，就可以对分组数据执行多个聚合操作。比较常用的是通过聚合函数或等效的agg方法聚合。常用的聚合函数如下表：

函数名 说明
count 分组中非空值的数量
sum 非空值的和
mean 非空值的平均值
median 非空值的中位数
std、var 无偏标准差和方差
min、max 非空值的最小和最大值
prod 非空值的积
first、last 第一个和最后一个非空值
应用单个聚合函数
对分组后的子集进行数值运算时，不是数值的列会自动过滤

import pandas as pd
import numpy as np
data = {‘A’: [1, 2, 2, 3, 2, 4],
‘B’: [2014, 2015, 2014, 2014, 2015, 2017],
‘C’: [“a”, “b”, “c”, “d”, “e”, “f”],
‘D’: [0.5, 0.9, 2.1, 1.5, 0.5, 0.1]
}
df = pd.DataFrame(data)
df.groupby(“B”).sum() #对分组进行求和
应用多个聚合函数
df.groupby(“B”).agg([np.sum,np.mean,np.std])
自定义函数传入agg()中
def result(df):
return df.max() - df.min()
df.groupby(“B”).agg(result) #求每一组最大值与最小值的差
对不同的列使用不同的聚合函数
mapping = {“A”:np.sum,“B”:np.mean}
df.groupby(“C”).agg(mapping)
编程要求
使用Pandas中的read_csv()函数读取step1/drinks.csv中的数据，数据的列名如下表所示，请根据continent分组并求每个大洲红酒消耗量的最大值与最小值的差以及啤酒消耗量的和。在右侧编辑器begin-end处补充代码。

列名 说明
country 国家名
beer_servings 啤酒消耗量
spirit_servings 白酒消耗量
wine_servings 红酒消耗量
total_litres_of_pure_alcohol 纯酒精总量
continent 大洲名
测试说明
平台会对你编写的代码进行测试：

测试输入：
预期输出：

           wine_servings  beer_servings

continent
Africa 233 3258
Asia 123 1630
Europe 370 8720
North America 99 3345
Oceania 212 1435
South America 220 2101
开始你的任务吧，祝你成功！

import pandas as pd
import numpy as np
'''
返回最大值与最小值的和
'''
def sub(df):
    ######## Begin #######
    return df.max() - df.min()
    ######## End #######
def main():
    ######## Begin #######
    data = pd.read_csv("step1/drinks.csv")
    df = pd.DataFrame(data)
    mapping = {"wine_servings":sub,"beer_servings":np.sum}
    print(df.groupby("continent").agg(mapping))
    ######## End #######
if __name__ == '__main__':
    main()

第2关：Pandas创建透视表和交叉表
任务描述
相关知识
透视表
交叉表
编程要求
测试说明
任务描述
本关任务：使用Pandas加载tip.csv文件中的数据集，分别用透视表和交叉表统计顾客在每种用餐时间、每个星期下的小费总和情况。

相关知识
透视表
透视表是各种电子表格程序和其他数据分析软件中一种常见的数据汇总工具。它根据一个或多个键对数据进行聚合，并根据行和列上得分组建将数据分配到各个矩形区域中。在pandas中，可以通过pivot_table函数创建透视表。

pivot_talbe函数的参数：

DataFrame.pivot_table(self, values=None, index=None, columns=None,ggfunc=‘mean’, fill_value=None, .margins=False,dropna=True, margins_name=‘All’)
参数名 说明
values 待聚合的列的名称。默认聚合所有数值列
index 用于分组的列名或其他分组键，出现在结果透视表的行
columns 用于分组的列名或其他分组键，出现在结果透视表的列
aggfunc 聚合函数或函数列表，默认为mean，可以是任何对groupby有效的函数
fill_value 用于替换结果表中的缺失值
dropna boolean值，默认为True
margins_name string，默认为‘ALL’，当参数margins为True时，ALL行和列的名字
示例：

data = {‘A’: [1, 2, 2, 3, 2, 4],
‘B’: [2014, 2015, 2014, 2014, 2015, 2017],
‘C’: [“a”, “b”, “c”, “d”, “e”, “f”],
‘D’: [0.5, 0.9, 2.1, 1.5, 0.5, 0.1]
}
df = pd.DataFrame(data)
df.pivot_table(index=[“B”], columns=[“C”], values=[“A”], aggfunc=sum, margins=True)
输出：

    A

C a b c d e f All
B
2014 1.0 NaN 2.0 3.0 NaN NaN 6
2015 NaN 2.0 NaN NaN 2.0 NaN 4
2017 NaN NaN NaN NaN NaN 4.0 4
All 1.0 2.0 2.0 3.0 2.0 4.0 14
交叉表
交叉表是一种用于计算分组频率的特殊透视表。通常使用crosstab函数来创建交叉表。

crosstab的参数

pd.crosstab(index,columns,values=None,rownames=None
,colnames=None,aggfunc=None,margins=False,dropna=True,normalize=False)
其中rownames可以设置行名，colnames可以设置列名，而且前两个参数可以是数组、Series或数组列表。

示例：

data = {‘A’: [1, 2, 2, 3, 2, 4],
‘B’: [2014, 2015, 2014, 2014, 2015, 2017],
‘C’: [“a”, “b”, “c”, “d”, “e”, “f”],
‘D’: [0.5, 0.9, 2.1, 1.5, 0.5, 0.1]
}
df = pd.DataFrame(data)
pd.crosstab(index=[df[“B”],df[“A”]], columns=df[“C”], values=df[“A”], aggfunc=sum, margins=True)
输出：

C a b c d e f All
B A
2014 1 1.0 NaN NaN NaN NaN NaN 1
2 NaN NaN 2.0 NaN NaN NaN 2
3 NaN NaN NaN 3.0 NaN NaN 3
2015 2 NaN 2.0 NaN NaN 2.0 NaN 4
2017 4 NaN NaN NaN NaN NaN 4.0 4
All 1.0 2.0 2.0 3.0 2.0 4.0 14
编程要求
使用Pandas中的read_csv函数加载step2/tip.csv文件中的数据集，分别用透视表和交叉表统计顾客在每种用餐时间(time)、每个星期下(day)的小费(tip)总和情况。在右侧编辑器begin-end处补充代码。

数据集列名信息如下表：

列名 说明
total_bill 消费总账单
tip 小费金额
day 消费日期（星期几）
time 用餐时间段（早、中、晚）
size 吸烟数量
测试说明
平台会对你编写的代码进行测试：

测试输入：
预期输出：

透视表：
tip
time Dinner Lunch All
day
Fri 35.28 16.68 51.96
Sat 260.40 NaN 260.40
Sun 247.39 NaN 247.39
Thur 3.00 168.83 171.83
All 546.07 185.51 731.58
交叉表：
time Dinner Lunch All
day
Fri 35.28 16.68 51.96
Sat 260.40 NaN 260.40
Sun 247.39 NaN 247.39
Thur 3.00 168.83 171.83
All 546.07 185.51 731.58
开始你的任务吧，祝你成功！

#-*- coding: utf-8 -*-
import pandas as pd

#创建透视表
def create_pivottalbe(data):
    ###### Begin ######
    return data.pivot_table(index=["day"],values=["tip"],columns=["time"],margins=True,aggfunc=sum)
    ###### End ######

#创建交叉表
def create_crosstab(data):
    ###### Begin ######
    return pd.crosstab(index=[data.day],columns=[data.time],values=data.tip,aggfunc=sum ,margins=True)
    ###### End ######

def main():
    #读取csv文件数据并赋值给data
    ###### Begin ######
    data = pd.read_csv("step2/tip.csv")
    ###### End ######
    piv_result = create_pivottalbe(data)
    cro_result = create_crosstab(data)
    print("透视表：\n{}".format(piv_result))
    print("交叉表：\n{}".format(cro_result))

if __name__ == '__main__':
    main()