dataframe 横向拼接,DataFrame 数据合并(merge，join，concat)

DataFrame 数据合并(merge，join，concat)

merge

merge 函数经过一个或多个键将数据集的行链接起来。

场景：针对同一个主键存在的两张包含不一样特征的表，经过主键的连接，将两张表进行合并。合并以后，两张表的行数不增长，列数是两张表的列数之和。web

def merge(left, right, how='inner', on=None, left_on=None, right_on=None,

left_index=False, right_index=False, sort=False,

suffixes=('_x', '_y'), copy=True, indicator=False,

validate=None):

参数

描述

how

数据融合的方法，从在不重合的键，方式(inner、outer、left、right)

on

用来对齐的列名，必定要保证左表和右表存在相同的列名。

left_on

左表对齐的列，能够是列名。也能够是DataFrame同长度的arrays

right_on

右表对齐的列，能够是列名。

left_index

将左表的index用做链接键

right_index

将右表的index用做链接键

suffixes

左右对象中存在重名列，结果区分的方式，后缀名。

copy

默认：True。将数据复制到数据结构中，设置为False提升性能。

特性示例(1)

默认：以重叠的列名看成链接键数据结构

df1 = pd.DataFrame({'key': ['one', 'two', 'two'],

'data1': np.arange(3)})

df2 = pd.DataFrame({'key': ['one', 'three', 'three'],

'data2': np.arange(3)})

df3 = pd.merge(df1, df2)

print(df1)

print(df2)

print(df3)

key data1

0 one 0

1 two 1

2 two 2

key data2

0 one 0

1 three 1

2 three 2

key data1 data2

0 one 0 0

特性示例(2)

默认：作inner链接，取key的交集

链接方式还有left right outerapp

df1 = pd.DataFrame({'key': ['one', 'two', 'two'],

'data1': np.arange(3)})

df2 = pd.DataFrame({'key': ['one', 'three', 'three'],

'data2': np.arange(3)})

df3 = pd.merge(df1, df2)

df4 = pd.merge(df1, df2, how='left')

print(df3)

print(df4)

key data1 data2

0 one 0 0

key data1 data2

0 one 0 0.0

1 two 1 NaN

2 two 2 NaN

特性示例(3)

多键链接时将链接键作成列表传入。

on默认是二者同时存在的列svg

df1 = pd.DataFrame({'key': ['one', 'two', 'two'],

'value': ['a', 'b', 'c'],

'data1': np.arange(3)})

df2 = pd.DataFrame({'key': ['one', 'two', 'three'],

'value': ['a', 'c', 'c'],

'data2': np.arange(3)})

df5 = pd.merge(df1, df2)

df6 = pd.merge(df1, df2, on=['key', 'value'], how='outer')

print(df5)

print(df6)

key value data1 data2

0 one a 0 0

1 two c 2 1

key value data1 data2

0 one a 0.0 0.0

1 two b 1.0 NaN

2 two c 2.0 1.0

3 three c NaN 2.0

特性示例(4)

两个对象的列名不一样，须要分别制定。函数

df7 = pd.merge(df1, df2, left_on=['key1','data1'], right_on=['key2','data2'], how='outer')

print(df7)

key1 value_x data1 key2 value_y data2

0 one a 0.0 one a 0.0

1 two b 1.0 two c 1.0

2 two c 2.0 NaN NaN NaN

3 NaN NaN NaN three c 2.0

join

join方法将两个DataFrame中不一样的列索引合并成为一个DataFrame

参数的意义与merge基本相同，只是join方法默认左外链接how=left性能

def join(self, other, on=None, how='left', lsuffix='', rsuffix='',

sort=False):

示例

df1 = pd.DataFrame({'A': ['A0', 'A1', 'A1'],

'B': ['B0', 'B1', 'B2']},

index=['K0', 'K1', 'K2'])

df2 = pd.DataFrame({'C': ['C1', 'C2', 'C3'],

'D': ['D0', 'D1', 'D2']},

index=['K0', 'K1', 'K3'])

df3 = df1.join(df2)

df4 = df1.join(df2, how='outer')

df5 = df1.join(df2, how='inner')

print(df3)

print(df4)

print(df5)

A B C D

K0 A0 B0 C1 D0

K1 A1 B1 C2 D1

K2 A1 B2 NaN NaN

A B C D

K0 A0 B0 C1 D0

K1 A1 B1 C2 D1

K2 A1 B2 NaN NaN

K3 NaN NaN C3 D2

A B C D

K0 A0 B0 C1 D0

K1 A1 B1 C2 D1

concat

制定按某个轴进行链接(可横向可纵向)，也能够指定链接方法。code

def concat(objs, axis=0, join='outer', join_axes=None, ignore_index=False,

keys=None, levels=None, names=None, verify_integrity=False,

sort=None, copy=True):

属性

描述

objs

合并的对象集合。能够是Series、DataFrame

axis

合并方法。默认0，表示纵向，1横向

join

默认outer并集，inner交集。只有这两种

join_axes

按哪些对象的索引保存

ignore_index

默认Fasle忽略。是否忽略原index

keys

为原始DataFrame添加一个键，默认无

示例(1)

s1 = pd.Series(['a', 'b'])

s2 = pd.Series(['c', 'd'])

s3 = pd.concat([s1, s2])

s4 = pd.concat([s1, s2], ignore_index=True)

print(s3)

print(s4)

0 a

1 b

dtype: object

0 c

1 d

dtype: object

0 a

1 b

0 c

1 d

dtype: object

0 a

1 b

2 c

3 d

dtype: object

示例(2)

df1 = pd.DataFrame([['a', 1], ['b', 2]], columns=['A', 0])

df2 = pd.DataFrame([['a', 1], ['b', 2]], columns=['B', 0])

df3 = pd.concat([df1, df2], join='inner')

print(df3)

0

0 1

1 2

0 1

1 2

示例(3)

df1 = pd.DataFrame([['a', 1], ['b', 2]], columns=['A', 0])

df2 = pd.DataFrame([['a', 1], ['b', 2]], columns=['B', 0])

df3 = pd.concat([df1, df2], axis=1, join_axes=[df1.index])

print(df3)

A 0 B 0

0 a 1 a 1

1 b 2 b 2

append

横向和纵向同时扩充，不考虑columns和indexxml

df1 = pd.DataFrame({'A': ['A0', 'A1', 'A1'],

'B': ['B0', 'B1', 'B2']},

index=['K0', 'K1', 'K2'])

s2 = pd.Series(['X0','X1'], index=['A','B'])

result = df1.append(s2, ignore_index=True)

print(result)

A B

K0 A0 B0

K1 A1 B1

K2 A1 B2

A B

0 A0 B0

1 A1 B1

2 A1 B2

3 X0 X1

汇总

concat：能够沿一条轴将多个对象链接到一块儿

merge：能够根据一个或多个键将不一样的DataFrame中的行链接起来。

join：inner是交集，outer是并集。