pythonsvd内存不足_有没有办法预防numpy.linalg.svd公司内存不足？

如果你的例子中有一个MxN，1000000x3矩阵numpy.linalg.svd不需要M==N。实际上，这正是SVD可以用来计算秩和伪逆的地方。方法如利纳格投资公司需要一个正方形(和满秩)矩阵才能有一个定义的结果。在

@Saullo Castro说得对。full_matrix=False会变得难以处理，因为U矩阵不是1Mx1M元素，而是1Mx3，这是一个巨大的节省。我不确定numpy使用的是哪种简化SVD算法(我认为它可能是Compact SVD，或thin)：wikipedia上的reduced SVD部分中的http://en.wikipedia.org/wiki/Singular_value_decomposition对3种广泛使用的算法进行了简要描述。它们都围绕着将全U矩阵的计算简化为一种简化形式，这对于某些问题，甚至许多问题来说，已经足够了。当NumberServations&gt；>numberFeatures时，节省最多

关于你是否得到同样的结果。简短的回答可以是肯定的，这取决于您将如何处理SVD结果。例如，您将得到与原始矩阵相同的矩阵(回到浮点公差级别)，如下面的代码所示。注意，在最上面的情况下，U的大小是numberObservations x numberObservations，而在full_matrix=False中，U的大小是numberrobservations x numberFeatures

此代码改编自numpy.linalg.svd公司doc允许用户试验任意行/列，选择单数值。在

我们总是可以将U矩阵的大小缩小到mx min(M，N)。根据数据的结构和存在的噪声量，可能会进一步减少。只是因为numpy.isclose公司is false并不意味着计算出的SV对所有上下文都是有害的。您可以使用mostSignificantSingularValues变量对此进行实验，该变量从完整的SVD中获取顶部SV。在numberObservations = 900

numberFeatures = 600

mostSignificantSingularValues = 600

a = np.random.randn( numberObservations, numberFeatures) + 1j*np.random.randn(numberObservations, numberFeatures)

#Reconstruction based on full SVD:

U, s, V = np.linalg.svd(a, full_matrices=True)

print(U.shape, V.shape, s.shape)

S = np.zeros((numberObservations, numberFeatures), dtype=complex)

S[:mostSignificantSingularValues, :mostSignificantSingularValues] = np.diag(s[:mostSignificantSingularValues])

print(np.allclose(a, np.dot(U, np.dot(S, V))))

d1 = a - np.dot(U, np.dot(S, V))#

#True

#Reconstruction based on reduced SVD:

U, s, V = np.linalg.svd(a, full_matrices=False)

print(U.shape, V.shape, s.shape)

S = np.diag(s)

print(np.allclose(a, np.dot(U, np.dot(S, V))))

d2 = a - np.dot(U, np.dot(S, V))#