python矩阵乘法库_Numpy高效大矩阵乘法

在磁盘上存储大矩阵numpy.memmap. 在

下面是测试大矩阵乘法的示例代码：import numpy as np

import time

rows= 10000 # it can be large for example 1kk

cols= 1000

#create some data in memory

data = np.arange(rows*cols, dtype='float32')

data.resize((rows,cols))

#create file on disk

fp0 = np.memmap('C:/data_0', dtype='float32', mode='w+', shape=(rows,cols))

fp1 = np.memmap('C:/data_1', dtype='float32', mode='w+', shape=(rows,cols))

fp0[:]=data[:]

fp1[:]=data[:]

#matrix transpose test

tr = np.memmap('C:/data_tr', dtype='float32', mode='w+', shape=(cols,rows))

tr= np.transpose(fp1) #memory consumption?

print fp1.shape

print tr.shape

res = np.memmap('C:/data_res', dtype='float32', mode='w+', shape=(rows,rows))

t0 = time.time()

# redifinition ? res= np.dot(fp0,tr) #takes 342 seconds on my machine, if I multiplicate matrices in RAM it takes 345 seconds (I thinks it's a strange result)

res[:]= np.dot(fp0,tr) # assignment ?

print res.shape

print (time.time() - t0)

所以我的问题是：如何将使用此过程的应用程序的内存消耗限制为某个值，例如100Mb(或1Gb或其他值)，而且我不知道如何估计过程的内存消耗(我认为只有在创建“data”变量时才分配内存，但在使用memmap文件时会使用多少内存？)在

对存储在磁盘上的大矩阵的乘法，也许有什么最佳的解决方案？例如，可能数据没有以最佳方式存储在磁盘上或从磁盘读取，未正确更改，而且点产品只能使用一个核心。也许吧我应该用PyTables之类的东西？在

我还对求解线性方程组(SVD和其他)的算法感兴趣。

也许这些算法叫做out-core或迭代，我认为有一些类似的东西，比如硬盘驱动器&lt；-&gt；ram，gpu-ram&lt；-&gt；cpu ram，cpu ram&lt；-&gt；cpu cache。在

另外，here我在PyTables中发现了一些关于矩阵乘法的信息。在

另外，我在R中找到了this，但我需要它用于Python或Matlab。在