memory_profiler python 代码内存性能分析

• 安装

  pip install memory_profiler
  

• 使用

  # 在需要分析内存性能的函数前面添加修饰符 @profiler
  @profiler
  @profiler(precision = 4, stream=open("memory.info", "w+"))	# 配置精度，并且把结果输出到日志文件
  def aaa()；
  	a = []
      b = []
      c = []
      for i in range(10):
          a.append(i)
  

  • 运行

    python -m memory_profiler test.py
    

  • 可视化工具 mprof

    python -m mprof run test.py		# 生成 memory perf 数据
    python -m mprof plot memory.info		# 绘制 memory perf 图，并显示
    python -m mprof plot memory.info --output=memory.png		# 绘制 memory perf 图，不显示，保存至当前路径
    

  • mprof 命令

    mprof run，运行可执行文件，记录内存使用情况
    mprof plot，绘制一个记录的内存使用情况，默认情况下是最后一个
    mprof list，以用户友好的方式列出所有记录的内存使用情况文件
    mprof clean，删除所有记录的内存使用情况文件
    mprof rm，删除特定记录的内存使用情况文件
    

  • 跟踪子进程

    方式一，总结所有子进程的内存和父进程的内存使用情况并跟踪每个子进程
    mprof run --include-children <script>
    
    方式二，独立于主进程跟踪每个子进程，通过索引将子进程内存消耗情况序列化到输出流，使用多进程
    mprof run --multiprocess <scripts>
    

  • 根据内存使用量设置断点

    python -m memory_profiler --pdb-mem=100 test.py		# 一旦代码在装饰函数中使用超过 100MB 的内存，将中断 test.py 并进入 pdb 调试器
    

• python 内存优化思路

  • 使用到的临时变量，即使释放，delete variable
  • 考虑到 python 特殊的内存管理机制，可以把一项工作按照内存消耗拆分成一系列的单独的步骤，每个步骤放置在一个子进程中，所有的子进程串行，减少代码的内存消耗峰值