Datawhale组队学习——数据分析入门（三）

本文为datawhale数据分析开源课程的学习笔记，课程链接

使用的数据为kaggle上的泰坦尼克数据

数据重构

利用pandas将数据进行横向合并

import pandas as pd

data1 = pd.read_csv("data1.csv")
data2 = pd.read_csv("data2.csv")

# 写法1使用concat方法
data= [data1,data2]
result = pd.concat(data,axis=1)
result.head()

#写法2 DataFrame自带的方法join方法
result = data1.join(data2)

#写法3 使用Panads的merge方法
result= pd.merge(data1,data2,left_index=True,right_index=True)

利用pandas将数据进行纵向合并

# 写法1使用concat方法
data1 = pd.read_csv("data1.csv")
data2 = pd.read_csv("data2.csv")

data = [data1,data2]
result= pd.concat(data)

#写法2 使用DataFrame自带的方法append方法
result = data1.append(data2)

merge()和join()都只能横向拼接，都是以index或相同项进行拼接,其实join()就是merge()的一种封装，后台调用的正是merge()。concat是Pandas的方法，缺省是纵向拼接，但可以指定轴向axis=1来实现横向拼接。

将数据的行与列进行旋转：使用stack()和unstack()
stack()即“堆叠”，作用是将列旋转到行
unstack()即stack()的反操作，将行旋转到列

result = data.stack()
result.unstack()

GroupBy机制:数据分析中一般 经历拆分、应用、合并，使用GroupBy可以实现我们想要的数据分组，从而更好发掘数据中规律。

GroupBy案例：

#计算泰坦尼克号男性与女性的平均票价
text = pd.read_csv('result.csv')
df  = text['Fare'].groupby(text['Sex'])
means = df.mean()

#统计泰坦尼克号中男女的存活人数
survived_sex = text['Survived'].groupby(text['Sex']).sum()
survived_sex.head()

#计算客舱不同等级的存活人数
survived_pclass = text['Survived'].groupby(text['Pclass'])
survived_pclass.sum()

通过GroupBy，可以轻易发掘数据之间的关联，例如可以发现泰坦尼克号的生存数据中，票价高的人，存活率高。

除了GroupBy，还有其它实现方式：

# 通过agg()函数来同时计算，使用rename函数修改列名
text.groupby('Sex').agg({'Fare': 'mean', 'Pclass': 'count'}).rename(columns=
                            {'Fare': 'mean_fare', 'Pclass': 'count_pclass'})

得出不同年龄的总的存活人数，然后找出存活人数的最高的年龄，最后计算存活人数最高的存活率（存活人数/总人数）

#不同年龄的存活人数
survived_age = text['Survived'].groupby(text['Age']).sum()

#找出最大值的年龄段
survived_age[survived_age.values==survived_age.max()]

#存活总人数
_sum = text['Survived'].sum()

#最大存活率
precetn =survived_age.max()/_sum