CNN模型小结（1）

文章的部分图片引自陈天奇老师deep learning system里的ppt

http://dlsys.cs.washington.edu/

考虑到一入学老师就让我入CNN的坑，还是有必要把它的整个发展以及定义进行一个简要的总结和描述

虽然其实上周组会已经讲过一遍了，但碍于自己的表达能力，似乎全场还是懵B脸(；′⌒`)

（我也很无奈啊，我尽力了好么~

首先CNN是啥，卷积神经网络（Convolutional Neural Network）

传统的神经网络长啥样，下图左边这样，输入的神经元和输出的神经元都有联系，这样做好不好？好，它确保了所有输入和输出可能有的关联，但是它有一个很大的弊病，权重W这个矩阵太大了，占用了太多的内存。于是卷积神经网络应运而生。

卷积神经网络长啥样，右边右边这样，去翻其他的博客，它的优点是：1）局部连接；2）权值共享。

什么意思：1）输出的神经元不与所有输入的神经元相连，我们只连接一部分（图中是3个神经元）；2）连接输入与输出所有平行的线他们都共用一个参数。

这里有几个定义，对于有多少个输入对应一个输出，我们定义它的数量为接受域；而一层内共享的权值参数我们称其为卷积核

从这个定义里我们其实可以看到CNN对样本的要求：我们看到CNN对于特征的抽象（输入到输出的抽象）并不是考虑整体的，而是考虑局部的，所以我们要求局部的特征是有关联的，并且局部所抽象出来的特征也是有关联的，为啥，因为我们实质上有很多个层（这一层的输入就是下一层的输出），所以图像可以作为输入，同样，CNN也可以应用在自然语言上。

当然这里有一个问题，并不是所有的卷积神经网络的卷积层都是权值共享的，我曾经瞟过一眼一篇人脸识别的文章，当他们做到了脸的配准（即确认了脸的眼睛鼻子嘴巴都在指定的位置）后，他们对于不同区域的一组卷积核是不同的；当然这样讲可能会引起歧义，如若不能理解，请跳过这句话。

CNN的产生在我看来就是相应深度学习的号召，为啥，因为层数一多，我们才会考虑到计算资源有限，想办法利用卷积来节约资源。

这里值得一提的是，我所了解到CNN最早也是应用在乳腺钼靶图像钙化的检测（默默流出热泪(；′⌒`)

但是从下图看，CNN98年火了一会儿，12年才被Alex大大翻出来