矩阵求两两元素之间的距离

如果是两维的，很简单，可以直接用scipy.spatial.distance的cdist，要求两个矩阵必须是2维的，三维会报错

import numpy as np
from scipy.spatial.distance import cdist
a = np.reshape(np.arange(12),newshape=[3,4])
b = np.reshape(np.arange(10,30),newshape=[5,4])
distance = cdist(a,b，'cityblock')
print(distance)

这个是比较耗内存的，如果数据量超级超级大，内存不够用的话，有两个办法：

1.把其中一个矩阵分块，计算a矩阵和部分b矩阵得出部分距离矩阵，然后拼接起来就可以了。

2.把数据从float64变成float16，这个方法无法在调用cdist时使用，因为我传进去float16,结果还是计算float64,所以自己写了以下代码，效果和cdist是一样的

import numpy as np
from scipy.spatial.distance import cdist
a = np.reshape(np.arange(12),newshape=[3,4])
b = np.reshape(np.arange(10,30),newshape=[5,4])
new_a = np.repeat(a,axis = 0,repeats=b.shape[0])#将a复制b.shape[0]遍，得出来的结果是a1,a1,a1,a1,a1,a2,a2,a2,a2,a2,...
new_b = np.concatenate(np.repeat(np.expand_dims(b,axis =0),axis = 0,
    repeats=a.shape[0]),axis=0)#将b复制a.shape[0]遍，并且是b1,b2,b3,b1,b2,b3...

r = np.reshape(np.sum(np.abs(new_a-new_b),axis = 1),(a.shape[0],b.shape[0]))#曼哈顿距离，可根据需要改写成其他距离
print(r)

实际中遇到这个问题时，可以同时用上述两个方法。

 

如果是一维的，扩充一下其中一个矩阵，然后相减即可得到

import numpy as np
a = np.array([1,2,3,4])
b = np.array([3,4,5,6])
expand_b = np.expand_dims(b,axis=1)
print(a - expand_b)

如果是三维的，我实在是想不出办法来，各位大神请指教。