卷积神经网络_卷积神经网络入门

原本想写卷积神经网络反向推导的，后来突然不想写了就换成卷积神经网络入门好了，本文未涉及padding，卷积步长、池化层作用、三维卷积后续心情好了再补上，如有错误请不吝指出，万分感谢

1、卷积

卷积定义：卷积就是一种数学运算，我们称

为

的卷积

其连续的定义为：

其离散定义为：

例子：假设有两枚骰子，把两枚骰子同时抛出，求两枚骰子点数加起来为4的概率是多少？

假设

表示第一枚骰子各个点数出现的概率，

表示第二枚骰子各个点数出现的概率

那么两个点数加起来为4的情况有：

因此，两枚骰子点数加起来为4的概率为：

上式标准化可表示为：

上面是一维卷积，我们可以拓展到二维、三维甚至更高的维度

二维的卷积公式可以表示为：

3、卷积神经网络

3.1、图像矩阵转换及卷积核

3.1.1、图像矩阵转换：

假设我们有一张黑白图片如下：

我们知道色彩可以通过RGB三种颜色在

区间内取任意值构成一张色彩鲜艳的图片，同样的我们也可以将上述图片转换成一个二维矩阵：

3.1.2、卷积核

假设上述图片矩阵对应二维卷积公式的

,那么我们还缺少一个神经网络需要训练的参数矩阵：

，我们称卷积神经网络的参数矩阵为卷积核，通常可以表示为如下：

3.2、卷积神经网络的构成：

3.2.1、卷积神经网络卷积过程概览：

3.2.2、与DNN一样卷积神经网络同样可以分为：输入层，隐含层，输出层，到这里我们需要思考一个问题：既然全连接神经网络与卷积神经网络大体上构成一样，为什么需要卷积神经网络呢？

假设我们有一张3x3大小的灰度图作为输入：

对于全连接神经网络我们需要把二维矩阵转换成一维矩阵：

又假设我们隐含层有16个神经元，那么单一个像素从输入层映射到隐含层如下：

如果9个像素全部映射到隐含层就会这样：

可以看到这是一个很糟糕的情况，这个神经网络输入层到隐含层的参数个数就已经是：

个了，而且这只是3x3的黑白小图片而已，当输入层是一些大的照片时，如1000x1000的图片，参数个数就是：

个那么DNN的参数将会成万上亿，训练起来十分困难

卷积神经网络的一个特征就是：

1、参数共享，此处你只需要知道通过参数共享可以减少需要训练的参数即可，下面会有例子作为解释

2、稀疏连接

综上所述：我们使用卷积神经网络而不是用全连接神经网络的一个原因是：卷积神经网路的参数共享、稀疏连接可以减少需要训练的参数

3.2.3、边缘检查

举个栗子：如果我们有一张照片，我们如何让电脑搞清楚照片里的是一个基佬呢还是一个变态呢？哦不好意思，这好像没什么区别 - - ，好吧，其实就是要让电脑搞清楚照片里的是什么东西啦！！！

如果计算机就是一个灵魂画师，那么他画出来的都东西可能只是一个物体的轮廓而已，我们第一步也可以先让电脑检测物体的轮廓作为一个特征，一个物体的轮廓就是一个物体的边缘，对轮廓的检测就是上述的边缘检查了。如图：

边缘检测

那么如何让计算机识别边缘呢：

假设我们有一张6x6的黑白图片，一个3x3的卷积核，进行卷积运算：（其中10代表白色像素，0代表灰色像素，-1代表黑色像素）

从上面的卷积我们可以看到，我们把白灰的图片通过卷积运算变成了灰白灰，白与灰的边缘被提取了出来，变成了30有效特征，0灰色无效特征，这只是垂直边缘检测，通过变换卷积核可以检测出更多的边缘变换

参数共享：从上面边缘检测可以看到，在计算图片左上角与左下角子矩阵的边缘特征时，我们不需要增加其他特征检测器（卷积核）就可以检测出其边缘特征，其左上角和右下角可能有不同分布，也有可能稍有不同，但很相似所以用同一个卷积核即可提取边缘特征，这就是参数共享

稀疏连接：右边矩阵(0,0)位置的值：0，仅仅依赖于左边图片矩阵左上角的3x3子矩阵的9 个特征，看上去只有这9 个输入特征与输出相连接，其它像素对输出没有任何影响，其他输出同理

4、池化层

4.1、常用的两种池化方式：最大池化、均值池化

4.2、池化层运行原理图：

除了卷积层，卷积网络也经常使用池化层来缩减模型的大小，提高计算速度，同时提高所提取特征的鲁棒性

未完待续。。。。。。

1、池化层作用

2、卷积步长

3、三维卷积

4、padding

引用：

https://mp.weixin.qq.com/s?__biz=MzIyMTU0NDMyNA==&mid=100004402&idx=2&sn=d120510ec69ddb6c178c0a6b8828cd22&chksm=683a78d95f4df1cf0cf9cc16c6649d3ba5568b4d31624912b3850d6cf17983f60eff1360a1ba&mpshare=1&scene=1&srcid=&key=ff09d031d7c4257bb7d4bcf61481ec0ceec0d2e404a0d2097b213f3ae10748b2f201b76b5a74be80acfa62f2a9913511a2f381ab57e86c1d69cd7ce6bfbaf19bc1a325882d877234e2896197bda1f4f1&ascene=1&uin=MTI2NDQ0MjIyNA%3D%3D&devicetype=Windows+10&version=6206081a&lang=zh_CN&pass_ticket=9FIGy6sv49rFQ2J158NWvo%2FE%2Be%2BfqQOwzmkGQGaZOb3awP8kuh%2Byk6QTgY9Cdx9p​mp.weixin.qq.com 全连接网络到卷积神经网络逐步推导（组图无公式）-云栖社区-阿里云​yq.aliyun.com

deeplearning.ai - 网易云课堂​mooc.study.163.com

---

坑边闲话：有些时候觉得糖糖说得蛮对的，人生太无聊了，看个魔术看出人家的套路，听个演唱会啊听人家的唱功唱到什么音，总想着有什么特别惊艳的东西能让生活有点意思却越发的意兴阑珊，活着大概只是为了唯一的想要罢了。。。。。音乐其实是个很有意思的东西有些歌可以改编得很有意思很惊艳！！！