GoogleNet学习记录

摘要

代号Inception主要特点：

1. 主要是为了提高网络内部计算资源的利用率，增加网络的深度和宽度；
2. 框架决策主要用了hebbian原则和多尺度处理
   hebbian原则：
   Hebbian principle的精确表达就是如果两个神经元常常同时产生动作电位，或者说同时激动，这两个神经元之间的连接就会变强，反之则变弱。举个例子就是，在给狗喂食时，先摇铃铛，之后再喂食，久而久之，狗听到铃铛就会口水连连。这就是狗的“听到”铃铛的神经元与“控制”流口水的神经元之间的链接被加强了。用在神经网络里就是当某个数据集的分布可以用一个稀疏网络表达的时候就可以通过分析某些激活值的相关性，将相关度高的神经元聚合，来获得一个稀疏的表示。
   多尺度处理
   在某些特征检测提取算法中（如sift等），用到的某些算子会对图像的某些信息作出反应，例如图像当中像素点快速变化的一些区域（一般就是图像当中的一些边缘信息），然后记录下来，形成该图的一组特征。但是某些时候我们的图往往是不能确定大小的（这个大小，也可以理解为相同大小时候，图像的模糊程度），需要做的就是在图像不同大小时，算法都能有效的提出相同的关键点。
   由此，我们需要对一张图，生成一组由清晰逐渐变模糊的一组图像，这就是图像的多尺度。总的来说，多尺度模拟了不同远近的相同物体在视网膜上的形成。而尺度不变性保证不同远近物体可以对视觉神经有相同的刺激。
   Gabor滤波器就是为了保证对不同尺度的图像，都能检测出相同特征。论文的模型采用了这一观点，使用不同大小的卷积核来提升不同尺度图像的检测能力，

Introduction

使用同样的数据，比Alexnet少12倍的参数就可以实现比Alexnet更好的结果。
即使在一个很大的数据集上，也能实现合理的cost，可以实际应用