pandas中合并数据集

数据集的合并🔍

1、pandas.merge()

对于数据库风格的DataFrame进行联合

• 语法👇：

pandas.merge(left, right, how=‘inner’, on=None)

left：参与合并的左侧DataFrame。
right：参与合并的右侧DataFrame。
how：指DataFrame的连接方式。默认为inner，inner是使用两个表都有的键（多对多连接 是行的笛卡尔积)——这里可以理解为：比如2对2，首先左边的1对完右边的1和2之后，在左边的2对右边的1和2，因此结果中排列组合实际就是3*2个结果；left使用左表中所有的键；right使用右表中所有的键；outer使用 两个表中所有 的键。
on：用于连接的列名，必须同时存在于左右两个DataFrame对象中。如果未指定，则以left和right列名的交集作为连接键。
left_on：左侧DataFrame中用作连接键的列。
right_on：右侧DataFrame中用作连接键的列。
left_index：将左侧的行索引用作其连接键。
right_index：将右侧的行索引用作其连接键。
sort：根据连接件对合并后的数据进行排序，默认为True。（有时在处理大数据集时，禁用该选项可获得更好的性能）
suffixes：在重叠情况下，添加到列名后的字符串元组；默认是(’_x’,’_y’)（例如如果待合并的DataFrame中都含有‘data’列，那么结果中会出现’data_x’,‘data_y’）。
copy：如果为False，则在某些特殊情况下避免将数据复制到结果数据中；默认情况下总是复制。
indicator：添加一个特殊的列_merge，指示每一行的来源；值将根据每行中连接数据的来源分别为’left_only’，‘right_only’或’both’。

• 例子🌰

>>>df1=pd.DataFrame({'key':['b','b','a','c','a','b'],
                  'data1':range(6)})
>>>df2=pd.DataFrame({'key':['a','b','a','b','d'],
                         'data2':range(5)})   
>>>df1
  key	data1
0	b	0
1	b	1
2	a	2
3	c	3
4	a	4
5	b	5  
>>>df2
  key  data2
0   a      0
1   b      1
2   a      2
3   b      3
4   d      4   
>>>pd.merge(df1,df2,on='key',how='left')
   key  data1  data2
0    b      0    1.0
1    b      0    3.0
2    b      1    1.0
3    b      1    3.0
4    a      2    0.0
5    a      2    2.0
6    c      3    NaN
7    a      4    0.0
8    a      4    2.0
9    b      5    1.0
10   b      5    3.0     
>>>pd.merge(df1,df2,how='inner')
  key  data1  data2
0   b      0      1
1   b      0      3
2   b      1      1
3   b      1      3
4   b      5      1
5   b      5      3
6   a      2      0
7   a      2      2
8   a      4      0
9   a      4      2

2、join方法

用于按照索引合并

• 这个函数比较简单，直接举例🌰

>>>left2=pd.DataFrame([[1.,2.],[3.,4.],[5.,6.]],
                      index=['a','c','e'],
                      columns=['Ohio','Nevada'])
>>>right2=pd.DataFrame([[7.,8.],[9.,10.],[11.,12.],[13.,14.]],
                       index=['b','c','d','e'],
                       columns=['Missouri','Alabama'])    
>>>left2
    Ohio  Nevada
a	 1.0     2.0
c	 3.0     4.0
e	 5.0	 6.0   
>>>right2 
   Missouri	 Alabama
b	    7.0	     8.0
c	    9.0	    10.0
d	   11.0	    12.0
e	   13.0	    14.0   
>>>left2.join(right2,how='outer')
   Ohio	 Nevada	 Missouri  Alabama
a	1.0	    2.0	      NaN	   NaN
b	NaN	    NaN	      7.0	   8.0
c	3.0	    4.0	      9.0	  10.0
d	NaN	    NaN	     11.0	  12.0
e	5.0	    6.0	     13.0	  14.0     
>>>another=pd.DataFrame([[7.,8.],[9.,10.],[11.,12.],[16.,17.]],
                        index=['a','c','e','f'],
                        columns=['New York','Oregon'])
>>>another
	New York	Oregon
a	     7.0	   8.0
c	     9.0	  10.0
e	    11.0	  12.0
f	    16.0	  17.0      
>>>left2.join([right2,another])
   Ohio	  Nevada   Missouri	  Alabama	New York   Oregon
a	1.0	     2.0	    NaN	      NaN	     7.0	  8.0
c	3.0	     4.0	    9.0	     10.0	     9.0	 10.0
e	5.0	     6.0	   13.0	     14.0	    11.0	 12.0  
'''由于一些历史原因(pandas版本过低)，DataFrame的join方法进行连接键上的左连接，完全保留左边DataFrame的行索引。
它还支持在调用DataFrame的某一列上连接传递的DataFrame的索引：'''
>>>left1=pd.DataFrame({'key':['a','b','a','a','b','c'],
                    'value':range(6)}) 
>>>right1=pd.DataFrame({'group_val':[3.5,7]},
                    index=['a','b']) 
>>>left1
  key	value
0	a	    0
1	b	    1
2	a	    2
3	a	    3
4	b	    4
5	c	    5        

3、 对于 NumPy数组的拼接或绑定， numpy.concatenate() 方法可以实现。

• 例子🌰

>>>arr=np.arange(12).reshape((3,4))
>>>arr
array([[ 0,  1,  2,  3],
       [ 4,  5,  6,  7],
       [ 8,  9, 10, 11]])
>>>np.concatenate([arr,arr],axis=1)
array([[ 0,  1,  2,  3,  0,  1,  2,  3],
       [ 4,  5,  6,  7,  4,  5,  6,  7],
       [ 8,  9, 10, 11,  8,  9, 10, 11]])

4、pandas.concat()

• 语法👇：

pandas.concat(objs,axis=0, join=‘outer’, ignore_index=False, keys=None, levels=None, names=None, verify_integrity=False, sort=False, copy=True)

objs： 参与连接的pandas对象的列表或字典。唯一必需的参数。
axis： 指明连接的轴向（0为"index"，1为"columns"），默认为0.
join： “inner"或"outer”，默认为"outer"。指明其他轴向上的索引是按交集(inner)还是并集(outer)进行合并。
keys： 与连接对象有关的值，用于形成连接轴向上的层次化索引。可以是任意值的列表或数组、元组数组、数组列表(如果将levels设置成多级数组的话)
levels： 指定用作层次化索引各级别上的索引 好累明天继续写吧