学习笔记2 - GoogLeNet

赫布理论：突触前神经元向突触后神经元的持续重复的刺激，可以导致突触传递效能的增加。在人工神经网络中，突触间传递作用的变化被映射成神经元网络图中相应权重的变化。如果两个神经元同步激发，则它们之间的权重增加；如果单独激发，则权重减少。其中w是从神经元 j 到神经元 i 的联接权重，x是神经元的输入。

作者提到对于MNIST等数据集，卷积神经网络通常有标准结构——堆叠的卷积层（后面可以选择有对比归一化和最大池化）后面连接一个或更多的全连接层。对于更大的数据集选择增加层的数目和层的大小，使用丢弃来解决过拟合问题。

关于论文Going deeper with convolutions的学习

一、动机

增加网络的尺寸是提高深度神经网络性能最直接的方式，但作者提出了两个问题：

1、网络更大的尺寸意味着更多的参数，这会使网络更容易过拟合，尤其是在训练集的标注样本有限的情况下。并且获得强标注数据集费时费力且代价昂贵。

2、计算资源使用的显著增加。（出于对算法效率尤其是它们的电力和内存的考虑提出了本文中呈现的深度架构设计）

二、解决思路

引入稀疏性，将全连接层fully connected替换为稀疏连接结构sparsely connected archit