目录
深度学习的价值和意义
全连接网络问题
全连接网络链接权过多,算的慢,难收敛,同时可能进入局部极小值,也容易产生过拟合问题。
例如:输入为
图像,隐含层有1M个节点,则输入至隐含层间有
数量级参数。
- 解决算的慢问题:减少权值连接,每一个节点只连到上一层的少数神经元,即局部连接络。
- 解决浅层全连接网络拟合效果不好、权值过多的问题: 信息分层处理,每一层在上层提取特征的基 础上获取进行再处理,得到更高级别的特征。
深度学习平台简介
卷积神经网络基础
进化史
基本概念
特征提取
对于所有的下一层节点,卷积核都是一样的,也就是权值相同。
填充
填充(Padding
):
也就是在矩阵的边界上填充一些值,以增加矩阵的大小,通常用0
或者复制边界像素来进行填充。
![](https://i-blog.csdnimg.cn/blog_migrate/dba66c6dbb274d0f4bd5b3a2d5f08f56.png)
步长
步长(Stride):
如图步长为2
![](https://i-blog.csdnimg.cn/blog_migrate/02696146825c32d1cf5cfeab411ae3a9.png)
多通道卷积
输入张量是三维的,卷积核也是三维的,对应位置数进行卷积,得到二维的输出张量。
池化
在输入张量某个区域内,使用局部统计特征,如均值或最大值作为输出。解决特征过多问题。
卷积神经网络结构
构成
:由多个卷积层和下采样层构成,后面可连接全连接网络
卷积层:
𝑘
个滤波器
下采样层
:采用mean或max
后面
:连着全连接网络
![](https://i-blog.csdnimg.cn/blog_migrate/975a71474eec2c8fb447bc37ceccfe81.png)
BP算法基础
前向传播
前向传播定义为:
![](https://i-blog.csdnimg.cn/blog_migrate/af7d856f79fa96443b807e8929ca56a8.png)
此处忽视卷积核的上下左右转置,因为不影响最终结果。
如果第𝑙
层是卷积+池化层,则:
![](https://i-blog.csdnimg.cn/blog_migrate/ab681e977a3ccd7cdf127e542508088c.png)
反向传播
如果当前是下采样层,下一层为卷积层,误差如何从卷积回传?
假设为2*2
核卷积
![](https://i-blog.csdnimg.cn/blog_migrate/914d65d3e42a0f9385d2a4fb2b9e7cf8.png)
![](https://i-blog.csdnimg.cn/blog_migrate/98ac74abb9e18bd05dec0916c34e01e7.png)
卷积NN的BP算法:卷积层+卷积层
![](https://i-blog.csdnimg.cn/blog_migrate/fa16fe3da8e2cec6b740c9c5a1265d10.png)
因此有,
![](https://i-blog.csdnimg.cn/blog_migrate/cf9d675a8e764a45eafda956d27d13c1.png)
卷积NN的BP算法:卷积层+全连接层
![](https://i-blog.csdnimg.cn/blog_migrate/0164daf7a75987bd91d6f2d6a38dd25c.png)
网络结构
LeNet-5
C3层卷积时用到了三维卷积,但是第三个维数是这样排布的
![](https://i-blog.csdnimg.cn/blog_migrate/535c98136fb3b0f8163a452b3ff1ea38.png)
AlexNet
“多个卷积层+一个池化层”的结构
![](https://i-blog.csdnimg.cn/blog_migrate/3dd60cfe7ea14c6fac3bbb5f2c993553.png)