【图文解说】BP神经网络与深度学习CNN的关系

老饼讲解-BP神经网络

已于 2024-06-23 08:27:12 修改

阅读量1.1k

点赞数 24

分类专栏：模型介绍文章标签：神经网络深度学习 cnn

于 2024-06-23 08:25:22 首次发布

本文链接：https://blog.csdn.net/dbat2015/article/details/139892357

版权

模型介绍专栏收录该内容

13 篇文章 4 订阅

订阅专栏

本文来自《老饼讲解-BP神经网络》https://www.bbbdata.com/

一、BP神经网络网络是什么

BP神经网络模仿人的大脑，将输入层层前馈并激活，从而得到最终的输出，BP神经网络的拓扑结构如下：
BP神经网络模拓扑结构
BP更多用于数值拟合，这时最常用的是三层BP神经网络，三层的BP神经网络只要隐节点足够多就足以拟合任意曲线。
BP神经网络原理

二、BP神经网络用于图象识别问题

1.1.BP神经网络解决图象识别问题

由于BP神经网络可以拟合任意曲线，因此搭配softmax函数，进一步解决模式识别问题，包括图像的识别，例如“手写数字识别”。
手写数字识别问题
手写数字是28×28的黑白图片，将它展平后就是28×28=784的输入，再投入到三层BP神经网络中进行训练，最终用于预测图片属于0-9各个数字的概率。通过一个简单的训练，就可以得到97.6%的识别准确率：
在这里插入图片描述
详细代码与训练过程可参考：《BP神经网络识别手写数字》

1.2.BP神经网络解决图象识别问题的困难

在上述手写字识别的图象识别问题中，BP神经网络是毫无压力的，但如果企图用于更大的图片，会面临参数爆炸的问题。例如224×224=50176的图片，那么就有5W个输入，进一步地，网络的隐节点即使只有1W，也会有5亿个隐层权重，这将给求解带来极大的困难。
BP神经网络的参数灾难

三、从BP到CNN深度学习模型

由于BP神经网络在图片识别上有参数维度灾难，那么最简单的就是减少输入的个数就可以了！是的，直接把224×224的图片，压缩成24×24的图片不就可以了吗？！
CNN的思想
事实上，CNN就是这么做的，但它采用了更加智能的压缩方法–加入了卷积层与池化层来自动压缩图片。一个卷积层的示例如下，通过卷积核，可以将输入内容进行整合、压缩。
在这里插入图片描述
一个卷积神经网络CNN的基本结构如下：
CNN神经网络结构
CNN通过C(卷积层)与P(池化层)，逐步将图片进行压缩，使得图片的Size缩小，小到一定程度时，再投入三层的BP神经网络中(F6,F7)中拟合输出就可以了。
备注：由于卷积层是稀疏连接，BP则是全连接，所以CNN中一般以F(Full Connect)层来指代BP。
使用pytorch实现一个卷积神经网络，用于数字识别，简简单单就能得到99.8%的准确率，可见CNN的效果要比BP要好得多。
在这里插入图片描述
从上可以看到，随着卷积与池化的加入，网络的层数就加深了，在后来，层数越来越深，也就有了深度学习一说。