神经网络第二次

weixin_42521509

已于 2024-04-17 15:39:21 修改

阅读量148

点赞数 5

文章标签：神经网络人工智能深度学习

于 2024-04-17 15:37:49 首次发布

本文链接：https://blog.csdn.net/weixin_42521509/article/details/137872105

版权

为什么要“深度学习”

全连接网络问题

全连接网络：链接权过多，算的慢难收敛，同时可能进入局部极小值，也容易产生过拟合问题。

解决算的慢问题：减少权值连接，每一个节点只到上层的少数神经元，即局部连接网络。

卷积神经网络

基本概念

特征提取

注意，图像卷积时根据定义需要首先把核上下左右转置。此处卷积核（黄色）时对称的，可以忽视。

填充

在矩阵边界填充一些值，以增加举证的大小，通常是0或者复制边界

像素来填充

步长

如图步长为 2

池化

思想：使用局部统计特征，如均值或最大。解决特征过多问题

构成：由多个卷积层和下采样构成，后面可连接全连网络

卷积层：𝑘个滤波器

下采样层：采用 mean或max

后面：连着全接网络

算法

前向传播定义为：

$z^{[l]}(x,y)=\sum_{u=0}^{p}\sum_{v=0}^{q}a^{[l-1]}(x+u,y+v)w^{[l],k}(u,v)\\a^{[l]}(x,y)=f\left(z^{[l]}(x,y)\right)$

如果第𝑙层是卷积 +池化层，则：

$\begin{aligned}&a^{[l]}(x,y)\\&=\text{downsample}\left(\sum_{u=0}^p\sum_{v=0}^qa^{[l-1]}(x+u,y+v)w_s(u,v)\right)\end{aligned}$

误差反向传播

卷积NN的BP算法：下层采样

如果当前是卷积层，下一层为下层采样，误差如何从下采样层回传假设为 2*2核平均池化

如果当前是下采样层，下一层为卷积层，误差如何从下采样层回传假设为 2*2核卷积

卷积NN的BP算法：卷积层＋卷积层

$\begin{gathered} a^{[l]}(x_{1},y_{1})=f\left(\sum_{u=0}^{p}\sum_{v=0}^{q}a^{[l-1]}(x_{1}+u,y_{1}+v)w^{[l],k}(u,v)\right) \\ a^{[l+1]}(x_{i},y_{i})=f\left(\sum_{u=0}^{p}\sum_{v=0}^{q}a^{[l]}(x_{i}+u,y_{i}+v)w^{[l+1],k}(u,v)\right) \end{gathered}$

$\frac{\partial a^{[l+1]}(x_{i},y_{i})}{\partial w^{[l],k}}=\sum_{u=0}^{p}\sum_{v=0}^{q}\frac{\partial a^{[l+1]}(x_{i},y_{i})}{\partial a^{[l]}(x_{i}+u,y_{i}+v)}\cdot\frac{\partial a^{[l]}(x_{i}+u,y_{i}+v)}{\partial w^{[l],k}}$

卷积NN的BP算法：卷积层＋全连接层

卷积层：

$a^{[l]}(x_1,y_1)=f\left(\sum_{u=0}^p\sum_{v=0}^qa^{[l-1]}(x_1+u,y_1+v)w^{[l].k}(u,v)\right)$

全连接层：

$a^{[l+1]}(x_i,y_i)=f\left(\sum_{u=0}^n\sum_{v=0}^na^{[l]}(x_i+u,y_i+v)w^{[l+1],k}(u,v)\right)$

因此有：

$\frac{\partial a^{[l+1]}(x_{i},y_{i})}{\partial w^{[l],k}}=\sum_{u=0}^{n}\sum_{v=0}^{n}\frac{\partial a^{[l+1]}(x_{i},y_{i})}{\partial a^{[l]}(x_{i}+u,y_{i}+v)}\cdot\frac{\partial a^{[l]}(x_{i}+u,y_{i}+v)}{\partial w^{[l],k}}$

声明：以上来自屈桢深老师课件

weixin_42521509

关注

5
点赞
踩
4

收藏

觉得还不错? 一键收藏
0
评论
神经网络第二次

全连接网络：链接权过多，算的慢难收敛，同时可能进入局部极小值，也容易产生过拟合问题。如果当前是卷积层，下一层为下层采样，误差如何从下采样层回传假设为 2*2核平均池化。如果当前是下采样层，下一层为卷积层，误差如何从下采样层回传假设为 2*2核卷积。解决算的慢问题：减少权值连接，每一个节点只到上层的少数神经元，即局部连接网络。构成：由多个卷积层和下采样构成，后面可连接全连网络。卷积NN的BP算法：卷积层＋全连接层。卷积NN的BP算法：卷积层＋卷积层。卷积NN的BP算法：下层采样。后面：连着全接网络。
复制链接

扫一扫