Task203:数据重构

思维导图

代码

import numpy as np
import pandas as pd

text_left_up= pd.read_csv('D:\\pythondata\\train-left-up.csv')
text_left_down= pd.read_csv('D:\\pythondata\\train-left-down.csv')
text_right_up= pd.read_csv('D:\\pythondata\\train-right-up.csv')
text_right_down= pd.read_csv('D:\\pythondata\\train-left-down.csv')

#concat
list_up=[text_left_up,text_left_down]
result_up=pd.concat(list_up,axis=1)
list_down=[text_left_up,text_left_down]
result_down=pd.concat(list_down,axis=1)
result=pd.concat([result_up,result_down])

#join+append
result_up=text_left_up.join(text_right_up)
result_down=text_left_down.join(text_right_down)
result1=result_up.append(result_down)


#merge+append
result_up=pd.merge(text_left_up,text_right_up,left_index=True,right_index=True)
result_down=pd.merge(text_left_down,text_right_down,left_index=True,right_index=True)
result2=result_up.append(result_down)
result2.to_csv('D:\\pythondata\\rasult2.csv',encoding='utf-8')


#stack是堆栈的意思，就是让数据按一列的顺序排列
text=pd.read_csv('D:\\pythondata\\train-left-up.csv')
print(text.head())
unit_result=text.stack().head(10)
print(unit_result.head(10))

import numpy as np
import pandas as pd
text=pd.read_csv('D:\\pythondata\\result.csv')
print(text.head(5))

df=text['Fare'].groupby(text['Sex'])
means=df.mean()
print(means)

#先根据是否存活，再根据性别进行求和
survived_sex=text['Survived'].groupby(text['Sex']).sum()
print(survived_sex.head())



survived_pclass=text['Survived'].groupby(text['Pclass']).sum()
print(survived_pclass)

aravgecost=text.groupby(['Pclass','Age'])['Fare'].mean()
print(aravgecost.head())

survived_age=text['Survived'].groupby(text['Age']).sum()
print(survived_age.head())

print(survived_age[survived_age.values==survived_age.max()])
_sum=text['Survived'].sum()

print(_sum)
print('sum of person:'+str(_sum))
precetn=survived_age.max()/_sum
print('最大存活率'+str(precetn))

小知识点

1.axis=0和axis=1的区别
前者代表跨行（down），后者代表跨列(across)

2.pandas中的merge()函数类似于SQL中join的用法，可以将不同数据集依照某些字段（属性）进行合并操作，得到一个新的数据集。
concat方法相当于数据库中的全连接，可以指定按某个轴进行连接，也可以按指定连接方式。
对于concat想要去重需要用到drop_duplicates方法。
3.stack是堆栈的意思，就是让数据按一列的顺序排列

Groupby

只学习了简单的Groupby部分

#Groupby
import numpy as np
import pandas as pd
df=pd.DataFrame({'key1':['a','a','b','b','a'],'key2':['one','two','one','two','one'],'data1':np.random.randn(5),'data2':np.random.randn(5)})
print(df)
#1.按key1进行分组，并计算data1列的平均值。
grouped=df['data1'].groupby(df['key1'])
print(grouped)
#这种计算出来的结果不是值，是一个对象，需要进一步的求和或者均值运算
print(grouped.mean())
#一次传入多个数组的列表，会得到不同的结果
grouped1=df['data1'].groupby([df['key1'],df['key2']]).mean()
print(grouped1.unstack())
#列成堆栈的形式
#.size是一种求分组大小的方法
#print(df.groupby(['key1','key2']).size())