深度学习论文理解2:on random weights and unsupervised feature learning

本文是2010年斯坦福大学andrew ng他们团队的作品；让人莫名其妙的是，本文有两个版本，两个版本略有差别版本1：http://www.icml2011.org/papers/551_icmlpaper.pdf  ;2：http://web.stanford.edu/~asaxe/papers/Saxe%20et%20al.%20%202010%20%20On%20Random%20Weights%20and%20Unsupervised%20Feature%20Learning.pdf

一：本文想法来源

最近随机无预训练的权值特征学习结构在目标识别中获得了很好的结果，例如在caltech101中，随机权值获得了53%，unsupervised pretraining +finetuning准确率为54.2%；得出随机权值的结果只是稍逊于pretraining+finetuning的结果。

基于此提出两个问题：

1：为什么随机权值有时会有这么好的结果

2：pretraining +finetuning的贡献是什么？

本文结构和结论：

1.介绍本文的C-P（Convolution and Pooling）

2.给出定理实验证明，C-P结构本质上有对特征有：“选择性和形变的不变性“，即使是随机权值

3.通过实验证明pretraining +finetuning和随机权值在结果上的关系：分类结果大部分由网络结构决定，pretraining +finetuning和随机权值（多个随机权值网络