0722
开始每天三小时学习
第一小时:补python基础。100-104课
第二小时:跟李沐学AI
224*224
https://www.cnblogs.com/ngiws719/p/16523220.html
应该是227*227*3
??dropout和l2正则化
权重衰减:防止学习地太好以至于过拟合
训练过程--学习率与权重衰减_weight decay一般多大-CSDN博客
??学习率:step;cos
怎么改变学习率
??最后一课randy
0723
开始每天三小时学习
第一小时:补python基础。65-66课
第二小时:跟李沐学AI
224*224
恒等映射
vgg
2012年,Alex和Hinton参加ILSVRC2012比赛并提出AlexNet,首次在CNN中成功应用了ReLU、Dropout和LRN等Trick。同时AlexNet也使用了GPU进行运算加速。AlexNet将LeNet的思想发扬光大,把CNN的基本原理应用到了很深很宽的网络中。AlexNet为ILSVRC2012比赛的冠军,且远超第二名。
2014年,VGG网络被提出,其在AlexNet的基础上,运用了更小的卷积核,并且加深了网络,达到了更好的效果。
2014年,GoogLeNet巧妙运用inception模块来提升训练结果:能更高效的利用计算资源,在相同的计算量下能提取到更多的特征,从而提升训练结果。GoogLeNet获得了ILSVRC2014的冠军。
2015年,Kaiming He等人提出ResNets(残差网络)。作者等人提出Residual Blocks,其原理为在每两层卷积层运用了恒等映射(Identity mapping)来减小深度网络带来的一些列问题,例如梯度消失等。残差网络的提出使得更深的网络得以训练。作者在实验中将网络增加到了1000多层,并且得到乐观的结果。其在ILSVRC2015的成绩为3.6%,甚至低于人类的错误率(5%)。
2016年,DenseNet被提出。作者们从feature入手,通过对feature的极致利用达到更好的效果和更少的参数。其中心思想为保证网络中层与层之间最大程度的信息传输的前提下,直接将所有层连接起来。DenseNet的一个优点是网络更窄,参数更少。
0725
开始每天三小时学习
第一小时:补python基础。高琪pytorch已看完115.
第二小时:pytorch官方教程
Normalization layers
会将一层的输出重新居中并进行规范化,然后再将其输入到另一层。居中和缩放中间张量有许多好处,例如,让您可以使用更高的学习率,而不会出现梯度爆炸/消失。
Dropout 层
是一种鼓励 模型中稀疏表示的工具 - 也就是说,推动它用更少的数据进行推理。
Dropout 层的工作原理是在训练期间随机设置输入张量的部分 - Dropout 层始终在推理时关闭。这会强制模型针对这个被屏蔽或缩减的数据集进行学习。