ResNet(深度残差网络)
ResNet网络是在2015年提出的一种新型CNN网络模型,相较于先前的LeNet、AlexNet等模型优势明显,尤其是在解决梯度消失、梯度爆炸方面,有了极大的提升。之前在接触LeNet、AlexNet用于帧内编码信息预测的时候,时常会遇到准确率低,还有准确率退化的问题,通过增加数据量和层数也得不到很好的改变。在使用该网络后,在不同的网络层数还有数据量等方面都有很好的实验效果,下面分享一下我在学习中的见闻:
1、参考论文与博客:
[1] He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016:770-778.
[2] ResNet代码参考:https://github.com/wenxinxu/resnet-in-tensorflow#training-curves
2、残差结构
通常我们对于识别率的理解在于:尽可能的增大网络深度,使用“硬的”运算平台,合理运用网络数学模型等。而实际应用中,类似激励函数、正则化、dropout还有损失函数等数学模型,我们很难通过数学优化的改变来较大幅度的影响识别率,运算平