Task3：数据重构

2 第二章：数据重构
2.4 数据的合并
2.4.1 任务一：将data文件夹里面的所有数据都载入，观察数据的之间的关系

import numpy as np
import pandas as pd
train_left_up=pd.read_csv('data/train-left-up')
train_left_up.head()

train_left_down=pd.read_csv('data/train-left-down')
train_left_down.head()

train_right_up=pd.read_csv('data/train-right-up')
train_right_up.head()

train_right_down=pd.read_csv('data/train-right-down')
train_right_down.head()

2.4.2：任务二：使用concat方法：将数据train-left-up.csv和train-right-up.csv横向合并为一张表，并保存这张表为result_up.
pd.concat([df1,df2,df3],axis=0)
axis=0:上下合并
axis=1.左右合并

result_up=pd.concat([train_left_up,train_right_up],axis=1)
result_up.head()

2.4.3 任务三：使用concat方法：将train-left-down和train-right-down横向合并为一张表，并保存这张表为result_down。然后将上边的result_up和result_down纵向合并为result。

result_down=pd.concat([train_left_down,train_right_down],axis=1)
result=pd.concat([result_up,result_down],axis=0)
result.head()

2.4.4 任务四：使用DataFrame自带的方法join方法和append：完成任务二和任务三的任务

result_up=train_left_up.join(train_right_up)
result_down=train_left_down.join(train_right_down)
result=result_up.append(result_down)
result.head()

join:序列中的元素按列方向以指定的字符连接生成一个新的字符
append：列表末尾添加新的对象，按行方向

2.4.5 任务五：使用Panads的merge方法和DataFrame的append方法：完成任务二和任务三的任务

result_up=pd.merge(train_left_up,train_right_up,left_index=True,right_index=True)
result_down=pd.merge(train_left_down,train_right_down,left_index=True,right_index=True)
result=result_up.append(result_down)
result.head()

pd.merge()方法索引连接，以及重复列名命名。
pd.merge()方法可以通过设置left_index或者right_index的值为True来使用索引连接，例如这里df1使用data1当连接关键字，而df2使用索引当连接关键字。
pd.merge(df1,df2,left_index=True,right_index=True)
【思考】对比merge、join以及concat的方法的不同以及相同。思考一下在任务四和任务五的情况下，为什么都要求使用DataFrame的append方法，如何只要求使用merge或者join可不可以完成任务四和任务五呢？

join:提供列方向的拼接操作
merge：提供左右连接操作

2.4.6 任务六：完成的数据保存为result.csv

result.to_csv('result.csv')

2.5 换一种角度看数据
2.5.1 任务一：将我们的数据变为Series类型的数据
stack函数：链表或者数组的一端进行加入数据和输出数据，只允许在一端进行操作

text=pd.read_csv('result.csv')
text.head()
unit_result=text.stack().head(20)
unit_result.head(15)

2.6 数据运用
2.6.1 任务一：通过教材《Python for Data Analysis》P303、Google or anything来学习了解GroupBy机制

GroupBy机制：进行数据分组及分组数据的组类运算

df[ ].(指输出数据的结果属性名称).groupby(df[属性],df[属性]).mean()

2.4.2：任务二：计算泰坦尼克号男性与女性的平均票价

df=text['Fare'].groupby(text['Sex']).means()
df.head()

2.4.3：任务三：统计泰坦尼克号中男女的存活人数

sur=text['Survived'].groupby(text['Sex']).sum()
sur

2.4.4：任务四：计算客舱不同等级的存活人数

num=text['Survived'].groupby(text['Pclass']).sum()
num

2.4.5：任务五：统计在不同等级的票中的不同年龄的船票花费的平均值

means=text.groupby['Pclass','Age']['Fare'].mean().head()
means

2.4.6：任务六：将任务二和任务三的数据合并，并保存到sex_fare_survived.csv

result=pd.merge(df,sur,on='Sex')
result

result.to_csv('Sex_fare_survived.csv’）

2.4.7：任务七：得出不同年龄的总的存活人数，然后找出存活人数的最高的年龄，最后计算存活人数最高的存活率（存活人数/总人数）

survived_age=text['Survived'].groupby(text['Age']).sum()
survived_age

survived.age.max()

Sum=text['survived'].sum()
Sum

pre=Max/Sum
print(pre