NumPy标准化部分矩阵

numpy中内置了mask的操作,详见numpy官方文档
对一个array设置mask后,数据类型变为numpy.ma.core.MaskedArray
对这种类型的矩阵进行一般的操作不会影响mask的部分
因此要对一个矩阵的某些部分进行处理,只需先挡住这些部分,剩下的部分正常处理,最后将挡住的部分恢复即可。下面的代码展示了对一个矩阵中所有非零数进行标准化的过程。

>>> import numpy as np
>>> sample = np.array([
... [0,1,0],
... [1,2,1], 
... [0,1,0]
... ])
>>> sample = np.ma.masked_equal(sample, 0)
>>> sample
masked_array(
  data=[[--, 1, --],
        [1, 2, 1],
        [--, 1, --]],
  mask=[[ True, False,  True],
        [False, False, False],
        [ True, False,  True]],
  fill_value=0)
  
>>> mean = np.mean(sample)
>>> mean
1.2

>>> sigma = np.std(sample)
>>> sigma
0.4

>>> result = (sample - mean) / sigma
>>> result
masked_array(
  data=[[--, -0.4999999999999999, --],
        [-0.4999999999999999, 2.0, -0.4999999999999999],
        [--, -0.4999999999999999, --]],
  mask=[[ True, False,  True],
        [False, False, False],
        [ True, False,  True]],
  fill_value=0)


>>> result = np.ma.filled(result, 0)
>>> result
array([[ 0. , -0.5,  0. ],
       [-0.5,  2. , -0.5],
       [ 0. , -0.5,  0. ]])

np.ma.masked_equal():mask所有等于某一值的位置
np.ma.filled():用某一值恢复被mask的部分

  • 为什么要这么麻烦?
  • for循环是很慢的,尽量使用numpy内置的函数(向量化所有操作)可以大大提高代码效率。当矩阵维数较多,数据量较大时(例如机器学习的数据预处理过程),这种时间的损失有时甚至是不可接受的。
  • 例,对一个shape (22, 64, 96, 96)的fMRI图像进行上述处理,分别用mask和for循环的方法,结果如下:
    Normalization with mask. Time: 0.6418337821960449
    Normalization with for loop. Time: 158.772225856781
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值