如果是两维的,很简单,可以直接用scipy.spatial.distance的cdist,要求两个矩阵必须是2维的,三维会报错
import numpy as np
from scipy.spatial.distance import cdist
a = np.reshape(np.arange(12),newshape=[3,4])
b = np.reshape(np.arange(10,30),newshape=[5,4])
distance = cdist(a,b,'cityblock')
print(distance)
这个是比较耗内存的,如果数据量超级超级大,内存不够用的话,有两个办法:
1.把其中一个矩阵分块,计算a矩阵和部分b矩阵得出部分距离矩阵,然后拼接起来就可以了。
2.把数据从float64变成float16,这个方法无法在调用cdist时使用,因为我传进去float16,结果还是计算float64,所以自己写了以下代码,效果和cdist是一样的
import numpy as np
from scipy.spatial.distance import cdist
a = np.reshape(np.arange(12),newshape=[3,4])
b = np.reshape(np.arange(10,30),newshape=[5,4])
new_a = np.repeat(a,axis = 0,repeats=b.shape[0])#将a复制b.shape[0]遍,得出来的结果是a1,a1,a1,a1,a1,a2,a2,a2,a2,a2,...
new_b = np.concatenate(np.repeat(np.expand_dims(b,axis =0),axis = 0,
repeats=a.shape[0]),axis=0)#将b复制a.shape[0]遍,并且是b1,b2,b3,b1,b2,b3...
r = np.reshape(np.sum(np.abs(new_a-new_b),axis = 1),(a.shape[0],b.shape[0]))#曼哈顿距离,可根据需要改写成其他距离
print(r)
实际中遇到这个问题时,可以同时用上述两个方法。
如果是一维的,扩充一下其中一个矩阵,然后相减即可得到
import numpy as np
a = np.array([1,2,3,4])
b = np.array([3,4,5,6])
expand_b = np.expand_dims(b,axis=1)
print(a - expand_b)
如果是三维的,我实在是想不出办法来,各位大神请指教。