39.残差网络ResNet

目录

1  残差结构

2  构建小型残差网络

3  内置的ResNet网络

---

1  残差结构

有残差连接的部分叫残差网络，Resnet就是残差网络，残差连接是让映射出来的结果与输入做残差操作，得出残差的结果

下图画红圈的地方叫做残差连接，之前我们没有这个连接，就是让机器通过若干层去学习输入与输出的关系，加入残差连接后，机器会去学习输入与残差结果的关系

我们下面就使用上面的网络结构，搭建一个简易的ResNet网络

2  构建小型残差网络

这个就是网络结构图中的权重层

先定义层再定义前向传播，层分别为一层卷积，一层批标准化，一层卷积，一层批标准化

在前向传播的过程中，先把输入赋值给另一个变量，然后再最后进行残差操作，我们这里将其加起来

到这里我们简易的残差网络就构建完毕了，下面我们看一下tensorflow内置的ResNet

3  内置的ResNet网络

Resnet内置在keras的applications中

他有很多的版本，我们选ResNet50这个版本看一下

比较长我就没都截，我们还有另一种方法可以查看模型结构，首先我们在 Download | Graphviz 下载

之后进行安装，在这一步选择这个，然后点击下一步

大小一共就10.9MB，所以我们选择装在C盘中

安装完毕后，我们需要重新启动，重新启动后，安装库pydot(pip install pydot)

然后在代码中输入

运行结束后我们得到了一张名为ResNet的png图像

这个就是ResNet50的全貌

像这一处，就是残差结构