Task03:数据重构
这一节,我们要做的是数据重构,数据重构依旧属于数据理解(准备)的范围。
一、导包,载入数据
# 导入基本库
import numpy as np
import pandas as pd
import os
# 设置行不限制数量
pd.set_option('display.max_rows',None)
# 设置列不限制数量
pd.set_option('display.max_columns',None)
# 载入data文件中的:train-left-up.csv
df_train_left_up = pd.read_csv('data/train-left-up.csv')
df_train_left_up
二、数据的合并
1.数据的合并操作
pandas合并文件共有四种方法,分别是merge, append,join与concat
任务一:将data文件夹里面的所有数据都载入,观察数据的之间的关系:df_train_left_down = pd.read_csv('data/train-left-down.csv')
df_train_right_up = pd.read_csv('data/train-right-up.csv')
df_train_right_down = pd.read_csv('data/train-right-down.csv')
任务二:使用concat方法:将数据train-left-up.csv和train-right-up.csv横向合并为一张表,并保存这张表为result_up。
# axis = 1在列上进行操作
result_up = pd.concat([df_train_left_up,df_train_right_up],axis = 1)
result_up
任务三:使用concat方法:将train-left-down和train-right-down横向合并为一张表,并保存这张表为result_down。然后将上边的result_up和result_down纵向合并为result。
result_down = pd.concat([df_train_left_down,df_train_right_down],axis = 1)
result = pd.concat([result_up,result_down])
任务四:使用DataFrame自带的方法join方法和append:完成任务二和任务三的任务
#设置ignore_index=True,使合并后的数据框索引重新排序。
result_up = df_train_left_up.join(df_train_right_up)
result_down = df_train_left_down.join(df_train_right_down)
result = result_up.append(result_down,ignore_index = True)
任务五:使用Panads的merge方法和DataFrame的append方法:完成任务二和任务三的任务
#如果需要根据数据框的索引进行连接,需要根据需求设置参数left_index=True或者right_index=True.
result_up = pd.merge(df_train_left_up,df_train_right_up,left_index = True,right_index = True)
result_down = pd.merge(df_train_left_down,df_train_right_down,left_index = True,right_index = True)
result = result_up.append(result_down,ignore_index = True)
2.总结
merge(): 方法根据列或索引连接数据框。
merge 函数通过一个或多个键来将数据集的行连接起来。该函数的应用场景是针对同一个主键存在两张包含不同特征的表,通过该主键的链接,将两张表进行合并。合并之后,两张表的行数没有增加,列数是两张表的列数之和减一。
pd.merge(left, right, how=‘inner’, on=None, left_on=None, right_on=None, left_index=False, right_index=False, sort=True, suffixes=(’_x’, ‘_y’), copy=True, indicator=False, validate=None)
当两个数据集合并的列名不相同时使用left_on,right_on.
on=None: 指定连接的列名,若两列希望连接的列名不一样,可以通过left_on和right_on 来具体指定,不指定时pandas会自动找到相同名字的列.
how=’inner’,参数指的是左右两个表主键那一列中存在不重合的行时,取结果的方式:inner表示交集,outer 表示并集,left 和right 表示取某一边.
on:当两个数据框只有一个相同列时,merge方法会自动根据相同列进行内连接,on参数可以省略.
left_index,right_index:如果需要根据数据框的索引进行连接,需要根据需求设置参数left_index=True或者right_index=True。
suffixes:设置suffixes,可以给相同的列名添加后缀。默认后缀是_x,_y.
jion():
join方法与merge方法作用相同,基本merge方法已经可以完成所有的连接操作.join方法对按索引连接更方便而已.
当连接的两个数据框中没有相同列时,可以直接按索引进行左连接。
同样,可以设置how参数,控制连接的行为。
In [4]: result = left.join(right, how='outer')
#这与merge的以下用法相似:
result = pd.merge(left, right, left_index=True, right_index=True, how='outer')
In [5]: result = left.join(right, how='inner')
#这与merge的以下用法相似:
result = pd.merge(left, right, left_index=True, right_index=True, how='inner')
concat(): 函数是panda自带的,可以按行或按列合并多个pandas数据框。
concat(objs, axis=0, join=‘outer’, join_axes=None, ignore_index=False, keys=None, levels=None, names=None, verify_integrity=False, copy=True)
设置ignore_index=True,使合并后的数据框索引重新排序。
设置参数axis=1或axis=‘columns’,可以按列合并多个数据框。
★★★pd.concat(【】,),第一个参数是要连接起来的对象用【】列表包起来作为第一个对象。
append(): 横向和纵向同时扩充,不考虑columns和index
df.append(other, ignore_index=False, verify_integrity=False, sort=None)
other可以是df,series,list,dict等.
ignore_index:合并之后创建新的索引,drop旧的索引,默认为False.
verify_integrity:如果合并的两个数据具有相同的index就会报错,默认为False.
sort:对合并之后的列的顺序进行调整,默认为None(和True相同的功能).
3.完成的数据保存为result.csv
result.to_csv('result_alone.csv')
三、换一种角度看数据
将我们的数据变为Series类型的数据
#堆叠操作 df--->series
text = pd.read_csv('result.csv')
unit_result = text.stack()
unit_result.head(50)
四、数据聚合与运算
GroupBy机制
(1)任务一:计算泰坦尼克号男性与女性的平均票价
In []:result1 = result['Fare'].groupby(result['Sex']).mean()
Out[]:
Sex
female 44.479818
male 25.523893
Name: Fare, dtype: float64
(2)任务二:统计泰坦尼克号中男女的存活人数
In []:result2 = result['Survived'].groupby(result['Sex']).sum()
Out[]:
Sex
female 233
male 109
Name: Survived, dtype: int64
(3)任务三:计算客舱不同等级的存活人数
In []:result['Survived'].groupby(result['Pclass']).sum()
Out[]:
Pclass
1 136
2 87
3 119
Name: Survived, dtype: int64
(4)任务四:从任务一到任务二中,这些运算可以通过agg()函数来同时计算。并且可以使用rename函数修改列名。
grouped = result.groupby(result['Sex'])
grouped.agg({'Fare':'mean','Survived':'sum'}).rename(columns = {'Fare':'Fare_mean','Survived':'Survived_count'})
grouped1 = result['Fare'].groupby(result['Sex'])
grouped1.agg([('Fare_mean','mean')])
grouped2 = result['Survived'].groupby(result['Sex'])
grouped2.agg([('Survived_count','sum')])
(5)任务五:得出不同年龄的总的存活人数,然后找出存活人数的最高的年龄,最后计算存活人数最高的存活率(存活人数/总人数)
#不同年龄的总的存活人数
In []:g1 = result['Survived'].groupby(result['Age']).sum()
In []:g1.head()
Out[]:
Age
0.42 1
0.67 1
0.75 2
0.83 2
0.92 1
Name: Survived, dtype: int64
#存活人数的最高的年龄
In []:g2 = result['Age'].groupby(result['Survived']).max()
Out[]:
Survived
0 74.0
1 80.0
Name: Age, dtype: float64
#存活人数的最高的年龄的存活人数
In []:survived_num = g1.max()
In []:survived_num
Out[]:
15
#存活人数最多的年龄
In []:g1[g1.values == survived_num]
Out[]:
Age
24.0 15
Name: Survived, dtype: int64
#存活人数最多的年龄的总人数
In []:g3 = result.iloc[:,:][result.Age == 24]
In []:len(g3)
Out[]:
30
# 存活人数最高的年龄的存活率(此年龄存活人数/此年龄存活总人数)
print("sum of person aged 24:"+str(len(g3)))
print("最大存活率:"+str(survived_num/len(g3)))
五、总结
至此,数据的预处理的工作基本完成,下面将进行学习数据可视化过程。