python pandas 合并_利用Python进行数据分析_Pandas_数据清理、转换、合并、重塑

1 合并数据集

pandas.merge

pandas.merge(left, right, how='inner', on=None, left_on=None, right_on=None, left_index=False, right_index=False, sort=False, suffixes=('_x', '_y'), copy=True, indicator=False, validate=None)

importpandas as pdfrom pandas importDataFrame

df1= DataFrame({'key':['b','b','a','c','a','a','b'],'data1':range(7)})

df2= DataFrame({'key':['a','b','d','b'],'data2':range(4)})#pd.merge(df1,df2,on='key')#设定列进行连接#pd.merge(df1,df2,left_on='data1',right_on='data2')#pd.merge(df1,df2,how='outer')#外连接，求取的是键的并集#pd.merge(df1,df2,on='key',how='left')#左连接#pd.merge(df1,df2,on='key',how='right')#右连接#pd.merge(df1,df2,on='key',how='inner')#内连接，求取的是键的交集#pd.merge(df1,df2,left_index=True,right_index=True)#索引被用作连接键

merge函数的参数

轴向连接

pandas.concat

pandas.concat(objs, axis=0, join='outer', join_axes=None, ignore_index=False, keys=None, levels=None, names=None, verify_integrity=False, sort=None, copy=True)

其中axis=0表示行，axis=1表示列

Series

s1 = Series([0,1],index=['a','b'])

s2= Series([2,3,4],index=['c','d','e'])

s3= Series([5,6],index=['f','g'])

s4= pd.concat([s1*5,s3])#concat默认axis=0,所以得出的是新的Series，取并集；axis=1,所以得出的是新的DataFrame

#pd.concat([s1,s4],axis=1,sort=False,join='outer')#axis=1 表示针对列，join='outer'表示取并集#pd.concat([s1,s4],axis=1,sort=False,join='inner')#axis=1 表示针对列，join='inner'表示取交集#pd.concat([s1,s4],axis=1,sort=False,join_axes=[['a','c','b','e']])#指定索引

#result = pd.concat([s1,s2,s3],keys=['one','two','three'])

result = pd.concat([s1,s2,s3],axis=1,sort=False,keys=['one','two','three'])

DataFrame

类似，略。

合并重叠数据

combine_first()方法

s1.combine_first(s2)

df1.combine_first(df2)

2 重塑和轴向旋转

reshape

pivot

重塑层次化索引

stack：将数据的“列”旋转为“行”

unstack：将数据的“行”旋转为“列”

3 数据转换

移除重复数据

importpandas as pdfrom pandas importDataFrame,Series

s1= Series(['a','a','a'],index=['i1','i2','i3'])

s2= Series(['a','a','a'],index=['i1','i2','i3'])

df= pd.concat([s1,s2],axis=1,sort=False)

df

运行结果：

df.duplicated()#返回一个布尔类型的Series

运行结果：

df.drop_duplicates()#移除全部列重复行的数据，默认保留第一个出现的值

df.drop_duplicates(take = True)#移除全部列重复行的数据，默认保留最后一个值

运行结果：

importpandas as pdfrom pandas importDataFrame,Series

s1= Series(['a','a','a'],index=['i1','i2','i3'])

s2= Series(['a','b','a'],index=['i1','i2','i3'])

df= pd.concat([s1,s2],axis=1,sort=False,keys=['key1','key2'])

df.drop_duplicates('key2')

运行结果：

df.drop_duplicates('key2')#移除指定列重复行的数据

运行结果：

利用函数或映射进行数据转换

importpandas as pdfrom pandas importDataFrame,Series

data= DataFrame({'name':['张三','李四','王五','刘四'],'sex':['male','female','male','male'],'age':[30,32,28,35]})

student_to_class={#比如，男性的班级是class1，女性的班级是class2'male':'class1','female':'class2'}

data['class'] = data['sex'].map(person_to_class)

data

运行结果：

替换值

fillna()

map(参数)，可以接收一个函数或含有映射关系的字典型对象

replace(参数1,参数2),参数1表示被替换的值，可以是一个值，也可以是多个值，参数2表示替换值

轴索引重命名

DataFrame 有map函数，DataFrame的index也有个map函数

df.index.map()

离散化和面元划分

pd.cut()

开区间、闭区间，通过right=False或True，left=False或True 进行控制

统计市盈率区间分布情况：

importpandas as pdimportnumpy as npfrom numpy importarray

file= 'D:\全部A股-行情报价.xls'df=pd.read_excel(file)

region= [-100,-50,-30,-20,-10,0,10,20,30,50,100]

regions=np.array(region)

ratio= df['市净率'].dropna()

arrs=np.array(ratio)

ratios=pd.cut(ratio,regions)

pd.value_counts(ratios)

提示：（0，10] 3481，表示市盈率在（0，10] 的股票有3481只。

ratios= pd.cut(ratio,regions,labels=['非常非常不好','非常不好','不好','很一般','一般一般','一般好','好','很好','非常好','非常非常好'])