python矩阵范数_在不到一秒钟的时间里就可以得到巨大矩阵的范数:NUMPY,PYTHON...

简单范数是一个内存受限的问题,对numpy不是很有效。

改进它的唯一方法是进行一些阻塞,以避免多次重复数据:import numpy as np

a = np.random.rand(1000000,100)

print np.linalg.norm(a, axis =1).shape

def g(d, out=None):

bs = 2000

if out is None:

r = np.empty(d.shape[0])

else:

r = out

for i in range(0, d.shape[0], bs):

u = min(i + bs, d.shape[0])

r[i:u] = np.linalg.norm(d[i:u], axis=1)

return r

print (g(a) == numpy.linalg.norm(a, axis =1)).all()

print "blocked"

%timeit -n 10 g(a)

print "normal"

%timeit -n 10 numpy.linalg.norm(a, axis =1)

在我的机器(DDR2 ram)和numpy 1.9上,这导致了适度的改进:

^{pr2}$

原则上,使用线程添加另一层阻塞应该可以提高性能一点,但是在我的机器(glibc2.19)上,由于glibc经常在线程模式下修剪堆,这会导致页面错误过多,因此实际上没有帮助。在strace -f -e madvise ipython test_threaded.ipy 2>&1 | grep MADV_DONTNEED -c

14228

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值