NIPS2018深度学习(14)|亮点: 卷积循环模型;半监督深层核学习;对抗式数据增广(论文及代码)...

[1] Task-Driven Convolutional Recurrent Models of the Visual System

Aran Nayebi, Daniel Bear, Jonas Kubilius, Kohitij Kar, Surya Ganguli, David Sussillo, James J. DiCarlo, and Daniel L. K. Yamins

Stanford University, MIT, KU Leuven, Google, Inc., Wu Tsai Neurosciences Institute

https://papers.nips.cc/paper/7775-task-driven-convolutional-recurrent-models-of-the-visual-system.pdf

目前，前向卷积神经网络在物体分类任务中的效果非常好。生物视觉系统中有两种普遍存在的结构特征，皮质区局部循环以及下游区到上游区的长范围反馈，这两种特征并没有体现在典型的卷积神经网络中。

这篇文章主要讨论如何利用循环来提高分类性能。标准形式的循环，比如RNNs和lstms，跟深层cnn融合用于imagenet上并不能取得较好的效果。通过融入两种结构特征，避开(bypassing) 及门限(gating)，可以显著提升准确率。作者们将这些思路利用自动搜索的方式扩展到几千种模型结构，结果表明，新颖的局部循环单元和长距离反馈连接有助于提升物体识别的性能。

模型结构示例如下