模型设计
小恩子
这个作者很懒,什么都没留下…
展开
-
Tensorrt c++ api构建网络
路线:pytorch -> .wts->.engine重点:构建网络结构。参考:https://github.com/wang-xinyu/pytorchxhttps://github.com/wang-xinyu/tensorrtx代码:以alexnet为例。// Creat the engine using only the API and not any parser.ICudaEngine* createEngine(unsigned int maxBatch...原创 2022-02-08 17:55:01 · 2707 阅读 · 0 评论 -
网络中加入注意力机制SE模块
SENet是由自动驾驶公司Momenta在2017年公布的一种全新的图像识别结构,它通过对特征通道间的相关性进行建模,把重要的特征进行强化来提升准确率。SENet 是2017 ILSVR竞赛的冠军。论文:Squeeze-and-Excitation NetworksSE block的基本结构给定一个输入 ,其特征通道数为C ,通过一系列卷积等一般变换后得到一个特征通道数为C的特征。 Squeeze:顺着空间维度进行特征压缩,将每个二维的特征通道变成一个实数,这个实数某种程...原创 2022-01-19 14:15:03 · 6880 阅读 · 0 评论 -
Pytorch Random Erasing
RandomErasing 随机擦除训练模型时,随机选取一个图片的矩形区域,将这个矩形区域的像素值用随机值或者平均像素值代替,产生局部遮挡的效果。该数据增强可以与随机切除、随机翻转等数据增强结合起来使用。在ReID、图像分类领域可以作为升点trick。codeimport cv2import mathimport randomimport torchvision.transforms as transformsfrom torch.utils.tensorboard import ..原创 2022-01-12 12:30:57 · 3061 阅读 · 0 评论 -
Pytorch tensorboard 可视化训练结果
训练模型时,导入 tensorboard. SummaryWriter 保存 loss、accuracy 等日志信息。code# 导入SummaryWriterfrom torch.utils.tensorboard import SummaryWriter# 实例化 SummaryWriterwriter = SummaryWriter(log_dir="./logs") # log_dir 日志存放路径# 模型训练时,写入train_loss、test_loss、train_ac原创 2022-01-09 18:13:28 · 767 阅读 · 0 评论 -
网络过拟合处理方法
Missing sample data Early Stop Regularization Dropout Network Sructure1、Missing sample data 缺少样本数据过拟合问题万能解决办法就是增加样本数据,1、数据增广,2、增加采样。2、Early Stop 提前终止“早停止”很好理解,就是在validation的error开始上升之前,就把网络的训练停止了。这就是寻找最好模型的trick之一吧。如图虚线处停止训练3、Regulari...原创 2022-01-09 16:46:48 · 2423 阅读 · 0 评论 -
Warmup 模型训练之标配
学习率的调节策略等间隔调整学习率 StepLR 按需调整学习率 MultiStepLR 指数衰减调整学习率 ExponentialLR 弦退火调整学习率 CosineAnnealingLR 自适应调整学习率 ReduceLROnPlateau 自定义调整学习率 LambdaLRWarmup 使用 然而在顶会论文和知名比赛中,作者一般都不会直接使用上述学习率调整策略,而是先预热模型(warm up), warm up是深度学习炼丹时常用的一种手段,由于一开始参数不稳定,梯度较大,如原创 2022-01-07 19:41:14 · 1563 阅读 · 0 评论 -
计算pytorch模型算力和参数的大小
设计神经网络时需要根据硬件考虑模型参数量和算力,故需要计算神经网络模型的params和Flops,python的三方库ptflops就可以很好的做这件事,show code:import torch.nn as nnimport torchfrom ptflops import get_model_complexity_infoclass Net(nn.Module): def __init__(self,in_c,class_num): super(Net, self)原创 2021-10-17 21:22:43 · 1848 阅读 · 0 评论