模型提升技巧知识与文章
文章平均质量分 71
搞视觉的张小凡
学习是一种信仰
展开
-
深度学习训练时网络不收敛的原因分析总结
很多同学会发现,为什么我训练网络的时候loss一直居高不下或者准确度时高时低,震荡趋势,一会到11,一会又0.1,不收敛。 又不知如何解决,博主总结了自己训练经验和看到的一些方法。首先你要保证训练的次数够多,不要以为一百两百次就会一直loss下降或者准确率一直提高,会有一点震荡的。只要总体收敛就行。若训练次数够多(一般上千次,上万次,或者几十个epoch)没收敛,则试试下面方法:1. 数据...原创 2018-08-20 22:01:41 · 44245 阅读 · 14 评论 -
类别不均衡处理办法总结
对于深度学习而言,数据量不平衡是很常见的问题,如:工厂的产品缺陷率一般在 0.1% 左右,患者病例比较少等。最近遇到个项目,样本类别极其不均衡,多的类别有上万张,少的仅有几百张,为了有好的训练效果,尝试了很多方法,在这篇博客总结下我使用的,还有见到的一些方法。一、过采样欠采样 既然不平衡,那就想办法让他平衡,增加数据和减少数据。一般的方法是过采样和欠采样。 过采样的意思就是...原创 2019-07-12 18:26:24 · 4832 阅读 · 0 评论 -
数据增强的方法总结及代码实现
在训练模型的时候,经常会出现数据不够多,如此就会出现过拟合等问题,通过对训练图片进行变换可以得到泛化能力更强的网络,更好的适应应用场景。博主用自己项目中常用的一些方法代码写出来。一、数据增强方法总结 1、平移。在图像平面上对图像以一定方式进行平移。2、翻转图像。沿着水平或者垂直方向翻转图像。3、旋转角度。随机旋转图像一定角度; 改变图像内容的朝向。4、随机颜色。对图像进行颜色抖...原创 2018-10-02 22:31:05 · 19761 阅读 · 29 评论 -
深度学习 warmup 策略
一、介绍 warmup顾名思义就是热身,在刚刚开始训练时以很小的学习率进行训练,使得网络熟悉数据,随着训练的进行学习率慢慢变大,到了一定程度,以设置的初始学习率进行训练,接着过了一些inter后,学习率再慢慢变小;学习率变化:上升——平稳——下降;具体步骤: 启用warm up,设置warm up setp(一般等于epoch*inter_per_epoch),当...原创 2020-03-21 21:07:45 · 15876 阅读 · 7 评论 -
计算机视觉中注意力机制基础知识(Attention Mechanism)
最近学习了关于计算机视觉中的注意力机制一些基础知识,整理下,方便复习,也分享一下;一、前言二、分类也就是两类;软注意力与强注意力,如下软注意力: 为了更清楚地介绍计算机视觉中的注意力机制,这篇文章将从注意力域(attention domain)的角度来分析几种注意力的实现方法。其中主要是三种注意力域,空间域(spati...原创 2020-03-22 17:44:12 · 1251 阅读 · 0 评论