第二章 第三节 数据重构2

复习：在前面我们已经学习了Pandas基础，第二章我们开始进入数据分析的业务部分，在第二章第一节的内容中，我们学习了数据的清洗，这一部分十分重要，只有数据变得相对干净，我们之后对数据的分析才可以更有力。而这一节，我们要做的是数据重构，数据重构依旧属于数据理解（准备）的范围。

开始之前，导入numpy、pandas包和数据

导入基本库

import numpy as np
import pandas as pd

载入上一个任务人保存的文件中:result.csv，并查看这个文件

df = pd.read_csv(r'D:\学习\DataAnalysis_2106\hands-on-data-analysis-master\第二章项目集合\result.csv')

2 第二章：数据重构

第一部分：数据聚合与运算

2.6 数据运用

2.6.1 任务一：通过教材《Python for Data Analysis》P303、Google or anything来学习了解GroupBy机制

【心得】
和sql里的groupby原理相同，具体语法规则如下：

例.求不同客舱等级的最高票价（多种语法实现）

方法一：
df.groupby('Pclass')['Fare'].max()

方法二：
df['Fare'].groupby(df['Pclass']).max()

方法三：
df.groupby('Pclass').agg({'Fare':'max'}).rename(columns={'Fare':'maxFare'})

方法一和方法二的输出结果完全一致；
方法三调用聚合函数可以同时计算多个数据，还可以调用rename函数修改列名，能让人更容易理解输出的结果。

2.4.2：任务二：计算泰坦尼克号男性与女性的平均票价

fare = df['Fare'].groupby(df['Sex'])
fare_mean = fare.mean()
print(fare_mean)

在了解GroupBy机制之后，运用这个机制完成一系列的操作，来达到我们的目的。

下面通过几个任务来熟悉GroupBy机制。

2.4.3：任务三：统计泰坦尼克号中男女的存活人数

survived_sex = df['Survived'].groupby(df['Sex']).sum()
print(survived_sex)

2.4.4：任务四：计算客舱不同等级的存活人数

survived_pclass = df['Survived'].groupby(df['Pclass']).sum()
print(survived_pclass)

【提示：】表中的存活那一栏，可以发现如果还活着记为1，死亡记为0

【思考】从数据分析的角度，上面的统计结果可以得出那些结论

女性、1等仓乘客幸存人数较多。

【思考】从任务二到任务三中，这些运算可以通过聚合函数agg()来同时计算。并且可以使用rename函数修改列名。你可以按照提示写出这个过程吗？

processedresult = df.groupby('Sex').agg({'Fare': 'mean', 'Pclass': 'count'}).rename(columns={'Fare': 'mean_fare', 'Pclass': 'count_pclass'})
print(processedresult)

#agg的内置函数有max、min、mean、sum、count等

agg()的内置函数包括：
min:最小值
max:最大值
sum:求和
mean:均值
median:中位数
std:标准差
var:方差
count:计数

2.4.5：任务五：统计在不同等级的票中的不同年龄的船票花费的平均值

df.groupby(['Pclass', 'Age'])['Fare'].mean().head()

2.4.6：任务六：将任务二和任务三的数据合并，并保存到sex_fare_survived.csv

result = pd.merge(fare_mean,survived_sex,on='Sex')  #主键Sex
print(result)

2.4.7：任务七：得出不同年龄的总的存活人数，然后找出存活人数的最高的年龄，最后计算存活人数最高的存活率（存活人数/总人数）

#不同年龄的存活人数
survived_age = df['Survived'].groupby(df['Age']).sum()

#找出最大值的年龄
survived_age[survived_age.values==survived_age.max()]

#首先计算总人数
_sum = df['Survived'].sum()

print("sum of survived person:"+str(_sum))

precetn =survived_age.max()/_sum

print("最大存活率："+str(precetn))