python的concat等用法

 1,numpy中的concatenate()函数：

>>> a = np.array([[1, 2], [3, 4]])
>>> b = np.array([[5, 6]])
>>> np.concatenate((a, b), axis=0)
array([[1, 2],
       [3, 4],
       [5, 6]])
>>> np.concatenate((a, b.T), axis=1)
array([[1, 2, 5],
       [3, 4, 6]])

注意：用到这个方法的时候很容易报dimensions不同的错误，有的需要更改demensions
可以使用下面的两种方法
# 给每一个元素增加[]
y_resamplednew  = y_resampled[:,np.newaxis]
print(y_resamplednew)
# 给最外层增加一个[]
y_resamplednew2 = y_resampled[np.newaxis,:]
print(y_resamplednew2)

2，pandas中的merge，concat，join

# In[]:数据的合并
# 1 ，merge，类似数据库中的
# (1)内连接，pd.merge(a1, a2, on='key')
# (2)左连接，pd.merge(a1, a2, on='key', how='left')
# (3)右连接，pd.merge(a1, a2, on='key', how='right')
# (4)外连接， pd.merge(a1, a2, on='key', how='outer')
data1 = pd.DataFrame(
    np.arange(0,16).reshape(4,4),
    columns=list('abcd')
)
data1
data2 = [
    [4,1,5,7],
    [6,5,7,1],
    [9,9,123,129],
    [16,16,32,1]
]
data2 = pd.DataFrame(data2,columns = ['a','b','c','d'])
data2
# 内连接 ,交集
pd.merge(data1,data2,on=['b'])
# 左连接 注意：如果 on 有两个条件，on = ['a','b']
# how = 'left','right','outer'
pd.merge(data1,data2,on='b',how='left')

# 2，append,相当于R中的rbind
# ignore_index = True:这个时候 表示index重新记性排列,而且这种方法是复制一个样本
data1.append(data2,ignore_index = True)

# 3，join
data2.columns=list('pown')
# 列名不能重叠：在这里的用法和R中rbind很像，但是join的用法还是相对麻烦的
result = data1.join(data2)
result

# 4,concat 这个方法能够实现上面所有的方法的效果
# concat函数是pandas底下的方法，可以把数据根据不同的轴进行简单的融合
# pd.concat(objs, axis=0, join='outer', join_axes=None, ignore_index=False,
#        keys=None, levels=None, names=None, verify_integrity=False)

# 参数说明：
# objs:series,dataframe，或者panel构成的序列list
# axis：0 行，1列
# join：inner，outer

# a,相同字段表首尾巴相接
data1.columns = list('abcd')
data2.columns =list('abcd')
data3 = data2
# 为了更好的查看连接后的数据来源，添加一个keys更好查看
pd.concat([data1,data2,data3],keys=['data1','data2','data3'])

# b ，列合并（也就是行对齐）：axis = 1,

pd.concat([data1,data2,data3],axis = 1,keys = ['data1','data2','data3'])

data4 = data3[['a','b','c']]
# 在有些数据不存在的时候，会自动填充NAN
pd.concat([data1,data4])

# c:join:inner 交集，outer ，并集
pd.concat([data1,data4],join='inner')

# 在列名没有一个相同的时候会报错
# data4.index = list('mnp')
# pd.concat([data1,data4])



# In[]:我们再看其他的资料：################################
# 数据的规整化

###############################################################
############################合并数据集##########################

# pandas.merge;实现的就是数据库的操作，有点像sql的操作
# pandas.concat:可以沿着一条轴将多个对象堆叠到一起

# 一个简单的例子：
import pandas as pd

df1 = pd.DataFrame({'key':['b','b','a','c','a','a','b'],'data1':range(7)})
df2 = pd.DataFrame({'key':['a','b','d'],'data2':range(3)})

# merge默认是交集，如果没有指定哪个列进行连接，merge就会将重叠列的列名当做键
print(pd.merge(df1,df2))
print(pd.merge(df1,df2,on='key'))

# 如果两个对象的列名不同，也可以进行显示的指定

df3 = pd.DataFrame({'lkey':['b','b','a','c','a','a','b'],'data1':range(7)})
df4 = pd.DataFrame({'rkey':['a','b','d'],'data2':range(3)})

print(pd.merge(df3,df4,left_on='lkey',right_on='rkey'))

# ########################## merge还有how = left，right，outer
print(pd.merge(df1,df2,how = 'left'))

# In[]:合并多个数据集，传入一个由列名组成的列表即可：
left = pd.DataFrame({'key1':['foo','foo','bar'],'key2':['one','two','one'],'lval':[1,2,3]})
right = pd.DataFrame({'key1':['foo','foo','bar','bar'],'key2':['one','one','one','two'],'lval':[4,4,6,7]})

print(left,'\n',right)
# outer相当于并集
print(pd.merge(left,right,on=['key1','key2'],how = 'outer'))

# 对于上面的代码，我们可以这样理解，多个键形成一系列元祖，并将其当做当个连接键进行连接（实际不是这样）

# In[]需要考虑的是重复列名的问题：
# 他会自动进行重新命名
print(pd.merge(left,right,on=['key1','key2'],how = 'inner'))

# 如果我们想自定义：(和原来的名字进行的叠加)
print(pd.merge(left,right,on=['key1','key2'],how = 'inner',suffixes = ('_left','_right')))

'''
merge:函数的参数：
on：用于连接的列名
left_on,right_on :左侧（右侧）用于连接键的列
left_index(right_index):将左（右）侧的行索引作为连接键
sort：对于合并后的数据进行排列，默认为true，对于数据量比较大的时候，把他设置为False，性能更好
suffixes:默认为('_x','_y')
copy:默认为True，可以改为False，数据量比较大时

'''
# In[]:索引上的合并：
left1 = pd.DataFrame({'key':['a','b','a','a','b','c'],'value':range(6)})
right1 = pd.DataFrame({'group_val':[3.5,7]},index=['a','b'])

print(pd.merge(left1,right1,left_on='key',right_index=True))

# 当然 对于通过索引的合并，DataFrame还有一个join方法，更加方便的实现索引的合并
print(left1.join(right1,how='outer'))


# In[] #################################################################################
# ****************************** 轴向连接concat **********************************
####################################################################################

s1 = pd.Series([0,1],index=['a','b'])
s2 = pd.Series([2,3,4],index=list('cde'))
s3 = pd.Series([5,6],index=list('fg'))

print(pd.concat([s1,s2,s3]))

s4 = pd.concat([s1*5,s3])

# join_axes指定轴上使用的索引，如果没有对应的，自动填充空值
print(pd.concat([s1,s4],axis=1,join_axes=[['a','c','b','e']]))

# ############################# 使用keys 可以区分拼接的数据来自哪里
result = pd.concat([s1,s2,s3],keys=['s1','s2','s3'])
print(result)

# 很多时候，通过concat的时候行索引可能会没有特别的意义，或者因为你索引类型不一样而没法concat的时候
# 我们需要使用 使用 ignore_index = True

result = pd.concat([s1,s2,s3],keys=['s1','s2','s3'],ignore_index=True)
print(result)

# In[]:################################
############# 重叠数据的合并处理：也就是在索引相同的时候,也可以直接使用concat
#  np.where :if-else的矢量化操作
import numpy as np

a = pd.Series([np.nan,2.5,np.nan,3.5,4.5,8],index=list('fedcba'))
b = pd.Series(np.arange(len(a),dtype=np.float64),index=list('fedcba'))
b[-1] = np.nan

print(a,'\n',b)
print(np.where(pd.isnull(a),b,a))

# print(pd.concat([a,b]))
print('/nn')
print(b.combine_first(a))