python 存储坐标_python – 大距离矩阵的内存高效存储

我必须创建一个数据结构来存储从一个非常大的2d坐标数组中的每个点到每个其他点的距离.对于小型阵列来说很容易实现,但超过大约50,000个点我开始遇到内存问题 – 这并不奇怪,因为我正在创建一个n x n矩阵.

这是一个很好的简单示例：

import numpy as np

from scipy.spatial import distance

n = 2000

arr = np.random.rand(n,2)

d = distance.cdist(arr,arr)

cdist很快,但是在存储方面效率很低,因为矩阵是对角镜像的(例如d [i] [j] == d [j] [i]).我可以使用np.triu(d)转换为上三角形,但生成的方形矩阵仍然采用相同的内存.我也不需要超出某个截止点的距离,因此这可能会有所帮助.下一步是转换为稀疏矩阵以节省内存：

from scipy import sparse

max_dist = 5

dist = np.array([[0,1,3,6], [1,0,8,7], [3,8,0,4], [6,7,4,0]])

print dist

array([[0, 1, 3, 6],

[1, 0, 8, 7],

[3, 8, 0, 4],

[6, 7, 4, 0]])

dist[dist>=max_dist] = 0

dist = np.triu(dist)

print dist

array([[0, 1, 3, 0],

[0, 0, 0, 0],

[0, 0, 0, 4],

[0, 0, 0, 0]])

sdist = sparse.lil_matrix(dist)

print sdist

(0, 1) 1

(2, 3) 4

(0, 2) 3

对于非常大的数据集,问题是快速到达稀疏矩阵.重申一下,使用cdist制作方阵是我所知道的计算点之间距离的最快方法,但中间方阵矩阵耗尽内存.我可以把它分解成更易于处理的行块,但随后会减慢很多.我觉得我错过了一些从cdist直接转到稀疏矩阵的简单方法.