卷积神经网络教程与学习资料整理

文章转载自http://www.cnblogs.com/yixuan-xu/p/5932651.html

    自己学习卷积神经网络也有大半个月了，现在想想整个过程还是很坎坷的。其中的一部分原因应该是自己比较依赖中文博客，倒不是因为写得不好，更多的是因为内容不完整和系统化。就像如果我连卷积神经网络是三维结构都不清楚的话，你跟我谈权值共享又有什么用呢？

    所以，如果想从最基础的内容开始学习卷积神经网络的话还是需要看专门的教材或课程，而不是别人的几篇博客。而说到教材或课程的话，那就基本等价于是英文的了。所以接下来推荐的资料绝大部分都是英文的，不过只要稍微有点英文基础，就肯定能看得懂。

    在看下面的学习资料前需要对传统神经网络和BP算法有一定的了解。建议从前往后一份一份地看，这个顺序是根据自己的经历来排的，我也会在每份资料下面稍微介绍一下主要内容。

 

【1】CS231n:Convolutional Neural Networks for Visual Recognition

       课程笔记的网址为：http://cs231n.github.io/convolutional-networks/

       介绍：适合对传统神经网络有点了解，但对卷积神经网络一窍不通的人。看完可以对卷积神经网络的整体结构、各层功能和从输入到输出的正向传播过程有比较好的理解。应该说它的课程笔记算是非常清晰易懂的，不过也相应要做出一些牺牲：比如假定池化层没有连接权值，对于卷积层的计算弱化了卷积的概念，基本没有介绍反向传播的细节。不过毫无疑问，如果说推荐入门的第一篇文章的话，毫无疑问就是它。

 

【2】UFLDL Tutorial

       教程网址为：http://ufldl.stanford.edu/tutorial/supervised/FeatureExtractionUsingConvolution/

       介绍：上面的资料中基本放弃了数学推导，这篇资料中关于卷积神经网络的部分可以算是对其的进一步补充。如果说通过上一篇能够搞清楚卷积神经网络的基本过程，那么通过学习这篇资料就要做到利用Matlab将这些过程实现。事实上，这篇教程本身就提供了辅助性的代码来帮助你理解和实现。此外，这个教程里清楚地解释了使用conv2函数进行卷积运算与使用rot函数对卷积核进行旋转之间的原因和关系。当初我没有看这个直接看了那篇Notes on CNN，其中也有关于如何使用上述两个函数完成卷积的部分，但是真的看不懂。

 

【3】A guide to convolution arithmetic for deep learning, V. Dumoulin, F. Visin.

       资料网址为：https://arxiv.org/pdf/1603.07285.pdf

       介绍：这篇教程应该算是专门讲深度学习中的卷积的，对卷积核的参数和计算进行了很详细的介绍。有兴趣可以阅读一下，配合大量的图例写得非常清晰。不过耐不住性子的话也没必要完完整整地看完。

 

 【4】Backpropagation In Convolutional Neural Networks

       网址为：

       http://www.jefkine.com/general/2016/09/05/backpropagation-in-convolutional-neural-networks/

       介绍：应该是别人的博客，光看界面就知道自己比不了。写得非常用心，用严谨的公式简单介绍了反向传播的权值更新过程，但是没有仔细地分全连接层、卷积层、池化层一个一个介绍，但是仍然值得一看。

 

  【5】Notes on Convolutional Neural Networks

        网址为：http://cogprints.org/5869/1/cnn_tutorial.pdf

        介绍：既然是卷积神经网络，怎么可能没有这篇。看来看去对反向传播的权值更新公式讲得最好的还是这一篇。不过，在看这篇资料前强烈建议将【1】和【2】看完，以保证自己对卷积神经网络整体结构由一个很好的理解。此外，对BP算法的主要思想也要有较好的理解，能够自己推导出传统神经网络中各层的连接权值、偏置更新公式。感兴趣的可以看一下我写的另一篇关于BP算法的推导过程。

 

   【6】Deep Learning, Ian Goodfellow and Yoshua Bengio and Aaron Courville Chapter-9

          网址为：http://www.deeplearningbook.org/

         介绍：最后推荐一本即将出版的激动人心的教材，从书名就可以看出是专门讲深度学习的。第九章中专门讲了卷积神经网络中的卷积和池化的概念。配合第六章与第十一章一起学习绝对是大补之物。由于整本书篇幅巨大和自己时间、学历有限，这本书还没仔细地研读，但已经感受到了它的魅力。个人觉得这本书绝对将成为深度学习这个领域的经典之作，更令人钦佩的是目前还提供了所有内容的网页版，感兴趣的朋友一定要去看。

 

     上面这些资料算是目前比较推荐的，但是，相信我看的内容只是冰山一角，还有很多好东西等待着我去发现、学习。之前也考虑过自己将上面的内容写成博客，但自认为不可能写得比原文完整详细，所以还是以推荐的形式进行分享。这篇文章会随着我的学习过程一直保持更新。