03-GoogLeNet学习笔记

一、GoogLeNet采用了几个辅助损失？辅助损失函数的权重是多少？为什么要采用辅助损失函数？

1.GoogLeNet采用了两个辅助损失，分别在Inception(4a)和Inception(4a)
2.辅助损失的权重=自身辅助weight * 0.3 ,模型总的权重 = weight + 0.3（两个辅助层权重）
3.采用辅助损失不仅可以增加loss回传（因为该模型网络较深，当从loss从后传到前面，梯度可能为0，会导致模型难以训练），而且可以充当正则约束项，迫使中间层特征也具有分类能力。

二、Inception模块中有几个分支？分别是哪些操作？Inception模块输出时特征图采用什么方式融合？

1 .共有四个分支，分别为1*1卷积、（1 * 1卷积 +3 * 3卷积）、（1 * 1卷积 + 3 * 3卷积）和（3 * 3最大池化+1 * 1卷积）
2.GoogLeNet结合了赫布理论（the Hebbian principle：一起激发的神经元连在一起），Inception将各个分支所生成的特征图按照从左往右加在一起，然后融合输出。其中，每个分支的特征图到紧挨在一起的，这也体现了赫布理论。
3.简单版本Inception模块（如左下图）有一个缺点：参数过多；为了解决这个问题提出优化Inception模块，主要是增加了1 *1卷积，可以大大减少参数运算。
举例说明：
简单版本3 * 3卷积过程计算量= 3 *3 * 256 *192=442,368
优化版本3 * 3卷积过程计算量= 1 *1 * 256 *64 + 3 * 3 * 64 *192 =126,976

4.Inception结构图
如右边Inception所示，融合输出特征图数量= 128+192+96+64

三、读完该论文，对你的启发点有哪些？

1 .Inception module 采用多尺度卷积，可以提取不同尺度的特征
2.Inception module才用多个1 * 1卷积，大大减少计算量
3.训练技巧：（1）多尺度图像：尺寸均匀分布在8%~100%之间
（2）辅助损失层
4.测试技巧：一张图片通过一系列处理得到144张图片

四、代码实现：从网上找一张图片，执行GoogLeNet，观察top5输出的类别，并将输出结果截图进行打卡

结果如图所示：

五、学习过程的笔记