思维导图
代码
import numpy as np
import pandas as pd
text_left_up= pd.read_csv('D:\\pythondata\\train-left-up.csv')
text_left_down= pd.read_csv('D:\\pythondata\\train-left-down.csv')
text_right_up= pd.read_csv('D:\\pythondata\\train-right-up.csv')
text_right_down= pd.read_csv('D:\\pythondata\\train-left-down.csv')
#concat
list_up=[text_left_up,text_left_down]
result_up=pd.concat(list_up,axis=1)
list_down=[text_left_up,text_left_down]
result_down=pd.concat(list_down,axis=1)
result=pd.concat([result_up,result_down])
#join+append
result_up=text_left_up.join(text_right_up)
result_down=text_left_down.join(text_right_down)
result1=result_up.append(result_down)
#merge+append
result_up=pd.merge(text_left_up,text_right_up,left_index=True,right_index=True)
result_down=pd.merge(text_left_down,text_right_down,left_index=True,right_index=True)
result2=result_up.append(result_down)
result2.to_csv('D:\\pythondata\\rasult2.csv',encoding='utf-8')
#stack是堆栈的意思,就是让数据按一列的顺序排列
text=pd.read_csv('D:\\pythondata\\train-left-up.csv')
print(text.head())
unit_result=text.stack().head(10)
print(unit_result.head(10))
import numpy as np
import pandas as pd
text=pd.read_csv('D:\\pythondata\\result.csv')
print(text.head(5))
df=text['Fare'].groupby(text['Sex'])
means=df.mean()
print(means)
#先根据是否存活,再根据性别进行求和
survived_sex=text['Survived'].groupby(text['Sex']).sum()
print(survived_sex.head())
survived_pclass=text['Survived'].groupby(text['Pclass']).sum()
print(survived_pclass)
aravgecost=text.groupby(['Pclass','Age'])['Fare'].mean()
print(aravgecost.head())
survived_age=text['Survived'].groupby(text['Age']).sum()
print(survived_age.head())
print(survived_age[survived_age.values==survived_age.max()])
_sum=text['Survived'].sum()
print(_sum)
print('sum of person:'+str(_sum))
precetn=survived_age.max()/_sum
print('最大存活率'+str(precetn))
小知识点
1.axis=0和axis=1的区别
前者代表跨行(down),后者代表跨列(across)
2.pandas中的merge()函数类似于SQL中join的用法,可以将不同数据集依照某些字段(属性)进行合并操作,得到一个新的数据集。
concat方法相当于数据库中的全连接,可以指定按某个轴进行连接,也可以按指定连接方式。
对于concat想要去重需要用到drop_duplicates方法。
3.stack是堆栈的意思,就是让数据按一列的顺序排列
Groupby
只学习了简单的Groupby部分
#Groupby
import numpy as np
import pandas as pd
df=pd.DataFrame({'key1':['a','a','b','b','a'],'key2':['one','two','one','two','one'],'data1':np.random.randn(5),'data2':np.random.randn(5)})
print(df)
#1.按key1进行分组,并计算data1列的平均值。
grouped=df['data1'].groupby(df['key1'])
print(grouped)
#这种计算出来的结果不是值,是一个对象,需要进一步的求和或者均值运算
print(grouped.mean())
#一次传入多个数组的列表,会得到不同的结果
grouped1=df['data1'].groupby([df['key1'],df['key2']]).mean()
print(grouped1.unstack())
#列成堆栈的形式
#.size是一种求分组大小的方法
#print(df.groupby(['key1','key2']).size())