Backbone
文章平均质量分 94
王吉吉丫
这个作者很懒,什么都没留下…
展开
-
深度学习Backbone网络系列(一)
目录 AlexNet VGG GoogLeNet AlexNet 2012年ImageNet竞赛冠军获得者Hinton和他的学生Alex Krizhevsky设计的。首次在CNN中成功应用了ReLU、Dropout和LRN等Trick。ReLU激活函数比Sigmoid性能好,有助于加深网络层次,并在ReLU之后添加了Normalization操作(即LRN);Dropout缓解了过拟合问题;LRN(局部响应归一化),对局部神经元的活动创建竞争机制,使得其中响应比较大的值变得相对更大,并抑制其.原创 2021-04-15 10:33:09 · 1615 阅读 · 1 评论 -
深度学习Backbone网络系列(三)
MobileNet原创 2021-06-03 08:59:50 · 509 阅读 · 0 评论 -
深度学习Backbone网络系列(二)
ResNet-v1 残差的效果: 观点1:孙剑认为,过于深的网络在反向传播是容易出现梯度弥散,一但某一步的导数开始小于1,后续的反向传播传到前面的网络层时,用float32位的数字已经无法表示梯度的变化了,相当于无法更新梯度值,那么浅层的网络学不到东西了。这是网络太深反而效果下降的原因。加入shortcut结构后,在反向传播时,每两个block之间不仅传递梯度值,还加上了求导之前的梯度值,相当于人为的把每一个block中向前传递的梯度值增大,也就减小了梯度弥散的可能性。梯度消失问题可参考这篇文章。 观原创 2021-06-02 10:44:30 · 703 阅读 · 0 评论