Hebbian principle和Multi-scale processing是inception-V1的理论基础。Hebbian principle是神经科学中的名词,被概括为神经元”fire together, wire together”的特性。即是相关性高的神经元将一同兴奋。对于机器学习而言,一种好的方法是将类似的神经元聚集在一起。Multi-scale processing是来自于一种直觉,那就是同一物体在照片中的尺度有可能有很大不同,因此机器学习算法需要同时学习同一物体在不同尺度上的特征。要想理解Inception-V1的设计哲学,就需要从这两个方面理解网络结构。
要理解Hebbian principle,首先要从人体神经系统的特点说起。人体神经网络的连接是比较稀疏的,而传统的人造神经网络的层与层之间的连接是比较紧密的。卷积本身就是一种稀疏的表示,因为卷积可以看做除卷积核之外,其余部分的连接权重为0的一种全连接。
早期的卷积之间的连接是随机而稀疏的,例如LeNet中,S2与C3层的连接如下图所示。
然而,由于这种稀疏连接的feature map只具有很低的计算效率。这种方式在AlexNet中被摒弃,全连接的卷积层又成为了CNN的主流连接方式。
由此看来我们面对了一个相当严重的trade-off。如果希望模拟人类的神经系统,我们需要稀疏连接,当如果需要高的计算效率,我们需要紧密连接。解决这一问题