卷积神经网络CNN可以用于从像素级别的图像通过层层学习抽象到类别级特征,根据《Visualizing and Understanding Convolutional Networks》这篇文章在不同的层次可以学到不同级别的特征,如第二层学习边、角和拐角等特征,第三层获取更复杂的不变性并且得到纹理的特征,第四层具有更高级的类别级区别,第五层展示了描述尽管在角度上不同的整个物体级特征,在6-7层全连接层更是更高级的特征抽象。 目前比较流行的CNN架构如下:
从以上可以看出随着层数的加深,网络学习到的东西的抽象层次更高,最后学习到在类别级上的特征。但是目前的CNN训练都是流水线式学习方式,前一层的参数学习仅仅受到后一层的反向传播影响。而在真实的人的大脑中图像的处理简化过程为:
其中在传递过程中简单的层内反馈在这里忽略不计,同时由于专业知识限制一些细致的传递过程在此忽略。人在最后对对于所看到图像的分析受到多种概念因素影响,如“红的”、“圆形”、“能吃”、“顶部肚脐眼有突起的小棱角”等低等和高等抽象概念综合形成对于苹果的理解,也就是说一个苹果的概念的产生不仅仅是受到高级抽象概念的影响同时还受到低级的影响。
因此我在这里猜想如果将更高层次的这种立体反馈机制运用到目前仍为流水线式反馈的CNN中是否可以学出更加高层次的概念同时具有更好的类别区分性?
以下是参考人的思维的改进CNN框架,在最后的全连接层 其具模拟人的联想机制使得不单单是流式的处理,而是通过神经元越级作为之后的神经元的输入。也就是在最后的神经元的训练中其不单单受到前一层次的神经元状态的影响同时后受到更低级的神经元激活状态的影响,这样形成其对信息的更加综合利用。通过低层次抽象的特征和高层次抽象的特征之间的表达能力的弥补从而达到更全面地对于输入图像的语义概念理解,更好地描述图像内容。