python分配大内存_python-为大型对象分配名称似乎会大大增加内存使用量

通常,当我需要调用一个复杂的公式时,我会将其分解为两行或更多行,以使代码更易于理解.但是,在分析一些计算出RMSE的代码时,我发现这样做似乎会增加代码的内存使用量.这是一个简化的示例：

import numpy as np

import random

from memory_profiler import profile

@profile

def fun1():

#very large datasets (~750 mb each)

predicted = np.random.rand(100000000)

observed = np.random.rand(100000000)

#calculate residuals as intermediate step

residuals = observed - predicted

#calculate RMSE

RMSE = np.mean(residuals **2) ** 0.5

#delete residuals

del residuals

@profile

def fun2():

#same sized data

predicted = np.random.rand(100000000)

observed = np.random.rand(100000000)

#same calculation, but with residuals and RMSE calculated on same line

RMSE = np.mean((observed - predicted) ** 2) ** 0.5

if __name__ == "__main__":

fun1()

fun2()

输出：

Filename: memtest.py

Line # Mem usage Increment Line Contents

================================================

5 19.9 MiB 0.0 MiB @profile

6 def fun1():

7 782.8 MiB 763.0 MiB predicted = np.random.rand(100000000)

8 1545.8 MiB 762.9 MiB observed = np.random.rand(100000000)

9 2308.8 MiB 763.0 MiB residuals = observed - predicted

10 2308.8 MiB 0.1 MiB RMSE = np.mean(residuals ** 2) ** 0.5

11 1545.9 MiB -762.9 MiB del residuals

Filename: memtest.py

Line # Mem usage Increment Line Contents

================================================

13 20.0 MiB 0.0 MiB @profile

14 def fun2():

15 783.0 MiB 762.9 MiB predicted = np.random.rand(100000000)

16 1545.9 MiB 762.9 MiB observed = np.random.rand(100000000)

17 1545.9 MiB 0.0 MiB RMSE = np.mean((observed - predicted) **

2) ** 0.5

如您所见,第一个函数(其中的计算被拆分)似乎需要额外的〜750 mb峰值,大概是残差数组的成本.但是,这两个函数都需要创建数组-唯一的区别是第一个函数为其分配了一个名称.这与我对python中内存管理应该起作用的方式的理解背道而驰.

那么,这是怎么回事？一种想法是,这可能是memory_profiler模块的某些工件.在运行期间监视Windows任务管理器会显示类似的模式(尽管我知道这不是一个非常值得信赖的验证).如果这是“真实的”效果,那么我对内存处理方式的误解是什么？或者,这是某种特定于numpy的吗？

解决方法:

memory_profiler的“内存使用情况”列告诉您每行完成后的内存使用情况,而不是该行期间的内存使用高峰.在不保存残差的版本中,该行在行完成之前就被丢弃,因此它永远不会显示在探查器输出中.

标签：python-2-7,memory-profiling,memory-management,python,numpy