解决增加网络深度和宽度时容易产生过拟合且大大增加计算量。将全连接和一般的卷积转化为稀疏连接。稀疏连接的概念如图:
GooLeNet使用了将稀疏矩阵聚类成秘籍子矩阵的方式提高性能
基本结构如下图:
使用不同大小的卷积核和池化,最后拼接进行融合。
网络越到后面,特征越抽象,而且每个特征所涉及的感受野也更大了,因此随着层数的增加,3x3和5x5卷积的比例也要增加。
但是5X5卷积仍然计算量大,采用1X1卷积核降维
1X1卷积核降维是减少了输入通道数,对m通道的输入进行n个1X1卷积核卷积,将会降维成n通道。
池化后面的1X1卷积也使用来变化维度
Filter concatenation运行方式就是将图按深度连接起来
为什么说Incepetion用到了聚类的思维,我是这么理解的,将一个输入分别用1X1,3X3,5X5卷积核进行卷积,不同层三种卷积核个数不一样,一个输入中有着不同性能的特征,如果全部用一种卷积核卷积,较为臃肿,复杂的特征应该用小一点的卷积核,简单的特征用大的就可以了,用不同尺寸的卷积核就对不同类型的特征进行了提取,因此计算的参数会减少很多,降低过拟合的产生,也能降低计算量。
GoogLeNet整体框架
使用多个Incepetion,因为越往后图像越抽象,可以用更多大一点的卷积核。