- 虽然Inception v1 的参数较少,但是它的结构比较复杂,难以进行修改。原因有以下两点:
- 如果单纯的放大网络(如增加Inception 模块的数量、扩展Inception 模块的大小),则参数的数量会显著增长,计算代价太大。
- Inception v1 结构中的各种设计,其对最终结果的贡献尚未明确。
因此Inception v3 的论文重点探讨了网络结构设计的原则。
网络结构
- Inception v3 的网络深度为42层,它相对于Inception v1 网络主要做了以下改动:
- 7x7 卷积替换为3个3x3 卷积。
- 3个Inception模块:模块中的5x5 卷积替换为2个3x3 卷积,同时使用后面描述的网格尺寸缩减技术。
- 5个Inception 模块:模块中的5x5 卷积替换为2个3x3 卷积之后,所有的nxn 卷积进行非对称分解,同时使用后面描述的网格尺寸缩减技术。
- 2个Inception 模块:结构如下。它也使用了卷积分解技术,以及网格尺寸缩减技术。
![e306d66b5519cae5e472bdcb093865d8.png](https://i-blog.csdnimg.cn/blog_migrate/1c2deb682c4d062c192a111b4788b55a.jpeg)
Inception v3 的网络结构如下所示:
- 3xInception 表示三个Inception 模块,4xInception 表示四个Inception 模块,5xInception 表示五个Inception 模块。
- conv padded 表示使用0填充的卷积,它可以保持feature map 的尺寸。
- 在Inception 模块内的卷积也使用0填充,所有其它的卷积/池化不再使用填充。
![f2f885ebc8367239847083020f9e0244.png](https://i-blog.csdnimg.cn/blog_migrate/906a8985a002a42fe3b8d9e1ca79cb10.jpeg)
在3xInception 模块的输出之后设有一个辅助分类器。其结构如下:
![c1fcc26544062d37ebfbf8eac76c9d4f.png](https://i-blog.csdnimg.cn/blog_migrate/fb857483a1f2447fa86e03976461aa0f.jpeg)
Inception v3 整体参数数量约 23,626,728万(论文Xception: Deep Learning with Depthwise Separable Convolutions)。
设计技巧
- Inception v3 总结出网络设计的一套通用设计原则:
- 避免representation 瓶颈:representation 的大小应该从输入到输出缓缓减小,避免极端压缩。在缩小feature map 尺寸的同时,应该增加feature map 的通道数。
- representation 大小通常指的是feature map 的容量,即feature map 的width x height x channel 。
- 空间聚合:可以通过空间聚合来完成低维嵌入,而不会在表达能力上有较大的损失。因此通常在nxn 卷积之前,先利用1x1 卷积来降低输入维度。
- 猜测的原因是:空间维度之间的强相关性导致了空间聚合过程中的信息丢失较少。
- 平衡网络的宽度和深度:增加网络的宽度或者深度都可以提高网络的泛化能力,因此计算资源需要在网络的深度和宽度之间取得平衡。
1 卷积尺寸分解
- 大卷积核的分解:将大卷积核分解为多个小的卷积核。
- 如:使用2个3x3 卷积替换5x5 卷积,则其参数数量大约是1个5x5 卷积的 72% 。
![0a84ccd199a892b2821d26bdea1c747b.png](https://i-blog.csdnimg.cn/blog_migrate/84ea6b40a7262ef2ed8ef552ee46b235.jpeg)
nxn 卷积核的非对称分解:将nxn 卷积替换为1xn 卷积和nx1 卷积。
- 这种非对称分解的参数数量是原始卷积数量的 。随着n 的增加,计算成本的节省非常显著。
- 论文指出:对于较大的feature map ,这种分解不能很好的工作;但是对于中等大小的 feature map (尺寸在12~20 之间),这种分解效果非常好。
![050a750da6a084d4fe9d40a54e30fdb6.png](https://i-blog.csdnimg.cn/blog_migrate/73084a745c2c4c028a4ab947df601802.jpeg)
![96cd0ab06ce17ef3cc63a3dbbff06d92.png](https://i-blog.csdnimg.cn/blog_migrate/d6991354b414a8ebd2d4b843918ccecb.jpeg)
![52e2e5d316c77f4f32587359601b7351.png](https://i-blog.csdnimg.cn/blog_migrate/257c1f925878bb9a9e860a781036f308.jpeg)
![3cf2d625ddc0b6898bc4f821ed1ae483.png](https://i-blog.csdnimg.cn/blog_migrate/195a667d45ffe6371968cceda5375f13.jpeg)