菜鸟读文献系列（四）

An Analysis of Single-Layer Networks in Unsupervised Feature Learning

基于Hands Deep in Deep Learning for Hand Pose Estimation追溯的泛读文章。
这篇文章主要是针对一个隐含层的网络结构进行分析的，分别对比了四种网络。还分析了4个影响网络性能的因素：感受野大小，隐含层节点数（要提取的特征数），卷积步长和白化（白化是一个比PCA稍微高级一点的算法，白化的目的是去除输入数据的冗余信息。假设训练数据是图像，由于图像中的相邻像素之间具有很强的相关性，所以用于训练时输入是冗余的；白化的目的就是降低输入的冗余性。特征之间的相关性较低，所有特征具有相同的方差）。
最后得出下面的几个结论
1.网络中隐含层神经元节点的个数，采集的密度（也就是convolution时的移动步伐，也就是在什么地方计算特征）和感知区域的大小对最终特征提取效果的影响很大，甚至比网络的层次数，学习算法本身还要重要。
2.白化在预处理阶段很有必要
3.如果不考虑非监督学习算法的选择的话，白化，large numbers of features和small stride都会得到更好的性能。
4.尽量使用白化对数据进行预处理，每一层训练更多的特征数。采用更密集的方法对数据进行采样。

只做了解 详细请看http://blog.csdn.net/zouxy09/article/details/9983399