深度学习文献总结

文献1.  Hinton在《科学》上发表的“reducing the dimensionality of data with neural networks”.

        引用格式：Geoffery E. Hinton, Salakhutdinov RR. Reducing the dimensionality of data with neural networks. Science. 2006 Jul 28;313(5786):504-7.

总结：在本文中，作者提出：高维数据可以通过训练一个多层神经网络和一个小的中心层转换为用低维度神经节点表示的数据。文中认为在初始化权重比较好的情况下， 采用梯度下降进行权重微调的“autoencoder”网络，具有很好的学习能力，但是在初始权重不好时效果表差，该文的主要贡献是提出了一种有效的初始化权重方法，该方法允许深度自编码网络（deep encoder networks）从低维编码（low-dimensional codes）中相比于主成分分析，学习得更快更好。主成分分析常用于降低数据的维度。

文献2.  2002年Hinton在《Neural Computation》上发表的“A fast learning algorithm for deep belief nets”。引用格式：Geoffrey E. Hinton, Simon Osindero, Yee-Whye Teh, A fast learning algorithm for deep belief nets Neural Compute, 18(7), 1527-54 (2006)

总结：文中提出了一种称为“互补先验”的方法来解决在含有多个隐藏层的网络中权重推算的问题；然后基于“互补先验”提出了一种快速贪婪的算法，该算法能够一次学习一层节点的权重，可以用来在网络学习的权重微调阶段进行初始化。经过权重微调，一个含有3层Hidden layers的网络可以对手写数字图像进行很好的分类。效果比最好的（06年之前）的判别学习算法都要好。

文献3.  Hinton在1995年在《Science》上发表的”The wake-sleep algorithm for unsupervised neural networks”。引用格式：Hinton G E, Dayan P, Frey B J, et al. The "wake-sleep" algorithm for unsupervised neural networks.[J]. Science, 1995, 268(5214):1158-61. 1.在本文中作者提出“Wake-sleep”算法，在“Wake”阶段，自底向上学习，在“Sleep”阶段，自顶向下学习Bottom-up是指对数据进行抽象，而抽象具体表现就是input与隐藏层之间是通过”recognition”connection连接; 2.“top-down”就是泛化问题，在下一层对上一层进行重建; 3. 在“Wake”阶段，调整generative connections 以使重构最接近input;在“sleep”阶段，调整recognition connections表征以使抽象（识别）出来的向量在上一层中能更好地激活各个神经元。文中首先引入损失函数

C(a,d) = C(a) + C(a|d)

            文中认为调节”recognition weights”不应以最小化C (d) 为目标，而是还应该考虑各种分布的熵，损失函数应该为另外一种形式。（需要在Word中用Mathtype软件编辑），在generative阶段，认为训练出来的概率分布Q应该尽可能接近后验概率分布，文中假设已知底层时，上层神经元之间的分布是独立的，那么Q 就可以写成一种连乘积的形式。用另外一种说法概括是：使得高层的特征提取器能够和底层进行通信，同时可以很容易地使用随机二态神经元的分层网络来实现，这些神经元的激活概率关于总输入是一个平滑非线性方程，其中si和sj是神经元i和j的活跃度（activity），从上而下生成图像的隐藏层神经元的二进制状态可以被用来作为它训练从下而上的认知权值（reco-weights）时的期望输出。生成权值为generative weights，简称gene-weights，认知权值为recognition weights，reco-weights，这样，基于少量随机值在2种学习阶段中切换，可以同时学习得到认知权值。

知乎中摘的CVPR2016中比较好的论文：

作者：孔巴巴
链接：http://www.zhihu.com/question/47385572/answer/106144285

在CVPR会场更新
ResNet获得了best paper.

这个题目被邀请真是受宠若惊。我关注的方向是2D图像检测和识别，其实这个方向更新比较快，很多文章在早就在Arxiv上挂出来了。说亮点的话还是等开完会吧。
说几个感觉比较好的工作（排名不分前后），随时更新。。。

1. Deep Residual Learning for Image Recognition（Best Paper）
这是kaiming组那篇影响力很大的文章，不用说了

2. You Only Look Once: Unified, Real-Time Object Detection
YOLO用纯CNN来做检测，可以达到实时的效果，虽然今年SSD的效果做的好很多，但YOLO确实起到了先驱的作用。另，一作貌似是一个传奇人物。

3. Training Region-Based Object Detectors With Online Hard Example Mining
这个工作比较新，他提供了在F-RCNN的框架下，在训练过程中如何对样本进行选择的一种解决方案。而且确实work。

4. Accurate Image Super-Resolution Using Very Deep Convolutional Networks
这是做超分辨率重建的一篇文章，主要的创新点在于在网络的最后用原图来辅助重建，有点残差网的意思，当然效果也很好。

5. Inside-Outside Net: Detecting Objects in Context With Skip Pooling and Recurrent Neural Networks
在F-RCNN的框架下如何对特征进行增强&#