如何监视Python程序的内存使用情况

我们使用Python和它的数据处理库套件(如panda和scikiti -learn)进行大量数据处理时候，可能使用了大量的计算资源。如何监视程序的内存使用情况就显得尤为重要。

1.询问操作系统

跟踪内存使用情况的最简单方法是使用操作系统本身。您可以使用top来提供您在一段时间内使用的资源的概述。或者，如果您想要现场检查资源使用情况，您可以使用ps命令:

$ ps -m -o %cpu,%mem,command

%CPU %MEM COMMAND

23.4  7.2 python analyze_data.py

 0.0  0.0 bash

m标志指示ps按照进程使用最多内存的顺序显示结果。o标志控制显示每个进程的哪些属性——在本例中是使用的CPU百分比、消耗的系统内存百分比和正在执行的进程的命令行。

CPU百分比将一个完整的CPU核心计算为100%的使用率，因此如果您有一个4核的机器，可能会看到总计高达400%的CPU使用率。还有其他输出选项用于显示其他进程属性，以及用于控制显示哪些进程的ps的其他标志。

结合一些创造性的shell脚本，可以编写一个监视脚本，使用ps跟踪任务的内存使用情况。

2.tracemalloc

Python解释器的操作中有大量的hooks，可以在Python代码运行时用于监视和内省。pdb使用这些钩子来提供调试;覆盖率也使用它们来提供测试覆盖率。tracemalloc模块还使用它们来提供一个了解内存使用情况的窗口。

tracemalloc是在Python 3.4中添加的一个标准库模块，它跟踪Python解释器分配的每个单独的内存块。tracemalloc能够提供关于运行Python进程中内存分配的非常细粒度的信息:

import tracemalloc

tracemalloc.star