模型训练技巧
CV-deeplearning
小米AI Lab图像算法工程师,擅长表格识别、目标检测、行人属性识别、车牌识别等。
展开
-
OHEM--online negative example mining
一. 论文介绍标题:https://arxiv.org/pdf/1604.03540.pdf论文:https://arxiv.org/pdf/1604.03540.pdf虽然该论文是几年前的文章了,但任然值得读,该思想可以用到其他视觉任务中。二. 核心思想核心思想:论文提出了一种困难负样本挖掘的方法。困难负样本是指AI模型难以区分的负样本。在模型不断训练的过程中,模型通常会对正样本有着比较高的confidence,但少不了对某些负样本也留有余芥,给了一个不那么接近0的confidence。而困难负原创 2021-10-11 20:00:18 · 234 阅读 · 0 评论 -
半监督学习——数据精馏(论文阅读)
当你有一部分标注数据和一部分未标注的数据时,要想进一步提高模型的精度,半监督学习是一个不错的方法。在打比赛中经常用到,特别时top玩家。原创 2020-08-05 08:43:34 · 1523 阅读 · 2 评论 -
模型训练技巧——激活函数mish
模型训练技巧:mish激活函数。仅仅更换激活函数,用mish代替ReLU就能提高模型的精度,不妨试试吧!原创 2020-06-22 17:07:27 · 1065 阅读 · 0 评论 -
模型训练技巧——warm up
在训练模型时,先给模型预热(warm up),会使模型最终收敛得更好,PyTorch学习率调整策略通过torch.optim.lr_scheduler接口实现。本文介绍模型在训练时,学习率的调节技巧。原创 2020-05-09 15:45:42 · 9055 阅读 · 12 评论 -
模型训练技巧——CutMix
CutMix的处理方式比较简单,对一对图片做操作,简单讲就是随机生成一个裁剪框Box,裁剪掉A图的相应位置,然后用B图片相应位置的ROI放到A图中被裁剪的区域形成新的样本,计算损失时采用加权求和的方式进行求解,最后作者对比了mixup、cutout和baseline,数据上看似乎也是小小地吊打的节奏。原创 2020-05-08 17:56:51 · 2668 阅读 · 3 评论 -
模型训练技巧——Random Erasing
本文介绍了一种新的用于训练卷积神经网络的数据增强方法——Random Erasing(随机擦除)。训练时,随机擦除方法会在原图随机选择一个矩形区域,将该区域的像素替换为随机值。这个过程中,参与训练的图片会做不同程度的遮挡,这样可以降低过拟合的风险并提高模型的鲁棒性。随机擦除是独立于参数学习过程的,因此可以整合到任何基于CNN的识别模型中。此方法虽然简单,但却是诸如random cropping、flipping等通用数据增强方法的一个补充,并且普遍地比没有使用随机擦除方法的对比算法效果要好。原创 2020-05-08 10:59:40 · 4560 阅读 · 1 评论 -
模型训练技巧——mixup
mixup, 用几行代码就能提高模型的识别精度。大型深度神经网络是非常强大的,但其损耗巨大的内存以及对对抗样本的敏感性一直不太理想。作者提出的mixup是一个简单地减缓两种问题的方案。本质上,mixup在成对样本及其标签的凸组合(convex combinations)上训练神经网络。这样做,mixup规范神经网络增强了训练样本之间的线性表达。数据集上进行试验,研究结果表明,mixup可以改进当前最先进的神经网络架构的泛化能力。原创 2020-05-07 16:08:10 · 2843 阅读 · 2 评论 -
模型训练技巧——label smoothing
使用应用label smoothing在绝大多数分类任务上能提高模型的准确率,本文主要用pytorch实现label smoothing,使它能方便的应用到项目中。原创 2020-05-06 17:01:21 · 2353 阅读 · 2 评论