profiler模型性能分析与优化入门

一、定义

1. profiler 作用
2. 入门
3. pyprof
4. torch.summary/torchinfo 模型参数量分析以及模型可视化
5. profiling 参数分析-模型分析
6. 分析某一个算子
7. 做内存快照

二、实现

1. profiler 作用：分析模型执行时间
   CPU/GPU 端Op执行时间统计
   CPU/GPU 端Op输入Tensor的维度分析
   Op的内存消耗统计

2. 入门
   1. 安装profiling.

pip install torch_tb_profiler

2. 命令行 运行tensorboard

tensorboard --logdir=./log          #日志的路径

3. 打开页面

http://localhost:6006/#pytorch_profiler

遇到的问题：json.decoder.JSONDecodeError: Invalid \escape: line 53124 column 56 (char 2265210)
报错：json.decoder.JSONDecodeError: Invalid \escape: line 53124 column 56 (char 2265210)
解决：将生成文件内 \ 路径全部替换为 /

4. torch.summary/torchinfo 模型参数量分析以及模型可视化
   torch.summary() 已经不在更新，合并到torchinfo 模块中。

import torch, torchvision
#model = torchvision.models.vgg
model = torchvision.models.vgg16().cuda()
from torchsummary import summary
summary(model, input_size=(3, 224, 224)) #旧版

新版
import torchvision.models as models
from torchinfo import summary
resnet18 = models.resnet18().cuda() # 实例化模型
summary(resnet18, (1, 3, 224, 224)) # 1：batch_size 3:图片的通道数 224: 图片的高宽

5. profiling 参数分析-模型分析
   从可视化界面的 解析结果，可以看出 各内存的占用情况，以及 各个模块，各个算子的内存占用、时间占用。 目的： 优化内存、优化时间

import torch
import torch.nn as nn
import torch.nn.functional as F
import torch.optim
import torch.profiler
import torch.utils.data
import torchvision.models
import torchvision.transforms as T
from torchvision.datasets.vision import VisionDataset
import numpy as np
from PIL import Image


# sample model
class Net(nn.Module):
    def __init__(self):
        super().__init__()
        self.conv1 = nn.Conv2d(3, 8, 3, padding=1)
        self.conv2 = nn.Conv2d(8, 12, 3, padding=1)
        self.conv3 = nn.Conv2d(12, 16, 3, padding=1)
        self.conv4 = nn.Conv2d(16, 20, 3, padding=1)
        self.conv5 = nn.Conv2d(20, 24, 3, padding=1)
        self.conv6 = nn.Conv2d(24, 28, 3, padding=1)
        self.conv7