神经网络与深度学习学习笔记

最新推荐文章于 2024-08-30 12:54:54 发布

weixin_48963517

最新推荐文章于 2024-08-30 12:54:54 发布

阅读量87

点赞数

文章标签：深度学习神经网络学习

本文链接：https://blog.csdn.net/weixin_48963517/article/details/129780092

版权

文章探讨了优化算法在深度学习中的应用，从SGD到动量法，再到AdaGrad、RMSProp和Adam的改进。此外，介绍了卷积的概念，卷积核在图像滤波中的作用，以及卷积神经网络的基础知识，包括LeNet-5网络的结构。

摘要由CSDN通过智能技术生成

SGD问题：病态曲率问题。采用动量法：

自适应梯度算法：具有较大偏导的参数相应有一个较大的学习率，而具有小偏导的参数则对应一个较小的学习率；即每个参数的学习率会缩放各参数反比于其历史梯度平方值总和的平方根。

AdaGrad问题：学习率是单调递减的，训练后期学习率过小会导致训练困难，甚至提前结束，所以需要设置一个全局的初始学习率。

采用RMSProp算法：使用指数衰减平均法，加入超参数 $\rho$ 控制衰减速率。

Adam算法进一步改进了RMSProp算法：除了加入历史梯度平方的指数衰减平均（𝑟）外，还保留了历史梯度的指数衰减平均（𝑠），相当于动量。

图像（二维）卷积定义：

*即图像矩阵与卷积核矩阵对应位置相乘再相加。

具体计算过程实例：

卷积计算过程直观体验：Image Kernels explained visually

填充（Padding）：也就是在矩阵的边界上填充一些值，以增加矩阵的大小，通常用0或者复制边界像素来进行填充。

一些简单的滤波方法：平均滤波，加权平均滤波。

图像边缘检测：

Prewitt算子卷积核 $\begin{bmatrix} -1& 0 &1 \\ -1& 0&1 \\ -1& 0 &1 \end{bmatrix}$ 以及 $\begin{bmatrix} 1& 1 &1 \\ 0 & 0&0 \\ -1& -1 & -1 \end{bmatrix}$
Sobel算子卷积核 $\begin{bmatrix} -1& 0 &1 \\ -2& 0&2 \\ -1& 0 &1 \end{bmatrix}$ （x方向）； $\begin{bmatrix} 1& 2 &1 \\ 0& 0&0 \\ -1& -2 &-1 \end{bmatrix}$ （y方向）
LoG算子
Canny算子

四种方法对比：

pytorch学习资源：

基本概念：

池化思想：使用局部统计特征，如均值或最大值，解决特征过多问题。

卷积神经网络结构：由多个卷积层和下采样层构成，后面可连接全连接网络。 k 个滤波器构成卷积层，采用mean或max构成下采样层。

关注