ResNet学习
问题:越深的网络,训练误差约大。
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/bb43d59ec74c37941a9033599b5b3d8c.png#pic_center)
解决:让更深的网络,训练效果越好。
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/558a8b4a87e362749a9ceadc77a36290.png#pic_center)
方法:前一层训练出来的结果x,分两步走,一是进入下一层得到训练结果y,二是这层的训练结果y与x相加,产出最终结果。
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/6ab4b8740e1beaf018d9636a7543059d.png#pic_center)
原因:网络越深,可能会出现梯度爆炸,梯度消失问题,通过把上层训练出的结构与下一层相加,可以有效解决这个问题
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/906973bb65184b86b8d8d41edfdc5951.png#pic_center)
如何训练更深的网络:对于深度很高的网络结构通道数需要增加,为了降低计算量,先经过1x1的卷积缩小到低通道,再进过3x3的卷积进行特征提取,最后经过1x1的卷积再映射回高的维度。
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/bcf6810b20ce61ba3856f7a6db6536ea.png#pic_center)
网络设计:![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/4be962bb724909abba589fcdab3dcf37.png#pic_center)
网络架构:
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/505cdfec06ca544b0c6500d249d1a83a.png#pic_center)