动手学数据分析 | Datawhale-8月 | Task03：数据重构

---

Task03：数据重构

这一节，我们要做的是数据重构，数据重构依旧属于数据理解（准备）的范围。

一、导包，载入数据

# 导入基本库
import numpy as np
import pandas as pd
import os
# 设置行不限制数量
pd.set_option('display.max_rows',None)
# 设置列不限制数量
pd.set_option('display.max_columns',None)

# 载入data文件中的:train-left-up.csv

df_train_left_up = pd.read_csv('data/train-left-up.csv')
df_train_left_up

二、数据的合并

1.数据的合并操作

pandas合并文件共有四种方法，分别是merge, append,join与concat

任务一：将data文件夹里面的所有数据都载入，观察数据的之间的关系：

df_train_left_down = pd.read_csv('data/train-left-down.csv')
df_train_right_up = pd.read_csv('data/train-right-up.csv')
df_train_right_down = pd.read_csv('data/train-right-down.csv')

任务二：使用concat方法：将数据train-left-up.csv和train-right-up.csv横向合并为一张表，并保存这张表为result_up。

# axis = 1在列上进行操作
result_up = pd.concat([df_train_left_up,df_train_right_up],axis = 1)
result_up

任务三：使用concat方法：将train-left-down和train-right-down横向合并为一张表，并保存这张表为result_down。然后将上边的result_up和result_down纵向合并为result。

result_down = pd.concat([df_train_left_down,df_train_right_down],axis = 1)
result = pd.concat([result_up,result_down])

任务四：使用DataFrame自带的方法join方法和append：完成任务二和任务三的任务

#设置ignore_index=True，使合并后的数据框索引重新排序。
result_up = df_train_left_up.join(df_train_right_up)
result_down = df_train_left_down.join(df_train_right_down)
result = result_up.append(result_down,ignore_index = True)

任务五：使用Panads的merge方法和DataFrame的append方法：完成任务二和任务三的任务

#如果需要根据数据框的索引进行连接，需要根据需求设置参数left_index=True或者right_index=True.
result_up = pd.merge(df_train_left_up,df_train_right_up,left_index = True,right_index = True)
result_down = pd.merge(df_train_left_down,df_train_right_down,left_index = True,right_index = True)
result = result_up.append(result_down,ignore_index = True)

2.总结

merge（）: 方法根据列或索引连接数据框。

merge 函数通过一个或多个键来将数据集的行连接起来。该函数的应用场景是针对同一个主键存在两张包含不同特征的表，通过该主键的链接，将两张表进行合并。合并之后，两张表的行数没有增加，列数是两张表的列数之和减一。

pd.merge(left, right, how=‘inner’, on=None, left_on=None, right_on=None, left_index=False, right_index=False, sort=True, suffixes=(’_x’, ‘_y’), copy=True, indicator=False, validate=None)
当两个数据集合并的列名不相同时使用left_on,right_on.
on=None: 指定连接的列名，若两列希望连接的列名不一样，可以通过left_on和right_on 来具体指定,不指定时pandas会自动找到相同名字的列.
how=’inner’,参数指的是左右两个表主键那一列中存在不重合的行时，取结果的方式：inner表示交集，outer 表示并集，left 和right 表示取某一边.
on：当两个数据框只有一个相同列时，merge方法会自动根据相同列进行内连接，on参数可以省略.
left_index，right_index：如果需要根据数据框的索引进行连接，需要根据需求设置参数left_index=True或者right_index=True。
suffixes：设置suffixes，可以给相同的列名添加后缀。默认后缀是_x,_y.

jion（）:

join方法与merge方法作用相同,基本merge方法已经可以完成所有的连接操作.join方法对按索引连接更方便而已.
当连接的两个数据框中没有相同列时，可以直接按索引进行左连接。
同样，可以设置how参数，控制连接的行为。

In [4]: result = left.join(right, how='outer')
#这与merge的以下用法相似:
result = pd.merge(left, right, left_index=True, right_index=True, how='outer')

In [5]: result = left.join(right, how='inner')
#这与merge的以下用法相似:
result = pd.merge(left, right, left_index=True, right_index=True, how='inner')

concat（）: 函数是panda自带的，可以按行或按列合并多个pandas数据框。

concat(objs, axis=0, join=‘outer’, join_axes=None, ignore_index=False, keys=None, levels=None, names=None, verify_integrity=False, copy=True)
设置ignore_index=True，使合并后的数据框索引重新排序。
设置参数axis=1或axis=‘columns’，可以按列合并多个数据框。
★★★pd.concat（【】，），第一个参数是要连接起来的对象用【】列表包起来作为第一个对象。

append（）: 横向和纵向同时扩充，不考虑columns和index

df.append(other, ignore_index=False, verify_integrity=False, sort=None)
other可以是df，series，list，dict等.
ignore_index：合并之后创建新的索引，drop旧的索引，默认为False.
verify_integrity：如果合并的两个数据具有相同的index就会报错,默认为False.
sort：对合并之后的列的顺序进行调整,默认为None(和True相同的功能).

3.完成的数据保存为result.csv

result.to_csv('result_alone.csv')

---

三、换一种角度看数据

将我们的数据变为Series类型的数据

#堆叠操作 df--->series
text = pd.read_csv('result.csv')
unit_result = text.stack()
unit_result.head(50)

四、数据聚合与运算

GroupBy机制

（1）任务一：计算泰坦尼克号男性与女性的平均票价

In []:result1 = result['Fare'].groupby(result['Sex']).mean()
Out[]:
Sex
female    44.479818
male      25.523893
Name: Fare, dtype: float64

（2）任务二：统计泰坦尼克号中男女的存活人数

In []:result2 = result['Survived'].groupby(result['Sex']).sum()
Out[]:
Sex
female    233
male      109
Name: Survived, dtype: int64

（3）任务三：计算客舱不同等级的存活人数

In []:result['Survived'].groupby(result['Pclass']).sum()
Out[]:
Pclass
1    136
2     87
3    119
Name: Survived, dtype: int64

（4）任务四：从任务一到任务二中，这些运算可以通过agg()函数来同时计算。并且可以使用rename函数修改列名。

grouped = result.groupby(result['Sex'])
grouped.agg({'Fare':'mean','Survived':'sum'}).rename(columns = {'Fare':'Fare_mean','Survived':'Survived_count'})

grouped1 = result['Fare'].groupby(result['Sex'])
grouped1.agg([('Fare_mean','mean')])

grouped2 = result['Survived'].groupby(result['Sex'])
grouped2.agg([('Survived_count','sum')])

（5）任务五：得出不同年龄的总的存活人数，然后找出存活人数的最高的年龄，最后计算存活人数最高的存活率（存活人数/总人数）

#不同年龄的总的存活人数
In []:g1 = result['Survived'].groupby(result['Age']).sum()
In []:g1.head()
Out[]:
Age
0.42    1
0.67    1
0.75    2
0.83    2
0.92    1
Name: Survived, dtype: int64

#存活人数的最高的年龄
In []:g2 = result['Age'].groupby(result['Survived']).max()
Out[]:
Survived
0    74.0
1    80.0
Name: Age, dtype: float64

#存活人数的最高的年龄的存活人数
In []:survived_num = g1.max()
In []:survived_num
Out[]:
15

#存活人数最多的年龄
In []:g1[g1.values == survived_num]
Out[]:
Age
24.0    15
Name: Survived, dtype: int64

#存活人数最多的年龄的总人数
In []:g3 = result.iloc[:,:][result.Age == 24]
In []:len(g3)
Out[]:
30

# 存活人数最高的年龄的存活率（此年龄存活人数/此年龄存活总人数）
print("sum of person aged 24:"+str(len(g3)))
print("最大存活率："+str(survived_num/len(g3)))

五、总结

至此，数据的预处理的工作基本完成，下面将进行学习数据可视化过程。