从零开始学深度学习——2 卷积神经网络基础补充

已于 2024-02-22 10:42:00 修改
阅读量341 收藏 6
点赞数 4
分类专栏： 深度学习1——图像分类 文章标签： 计算机视觉 人工智能 深度学习
于 2024-01-29 14:54:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jochen12345/article/details/135910228
版权
本文详细介绍了三层BP神经网络中误差的计算方法，包括输出层的计算、损失函数的选择（如二分类或多分类）、误差的反向传播以及常见优化器如SGD、SGD+动量和Adam的原理。着重讨论了如何通过动量和自适应学习率来改进梯度更新过程。
摘要由CSDN通过智能技术生成

误差的计算

这里以三层的BP神经网络为例来讲解

第一层就是我们的输入层 两个节点分别是x1和x2

中间的就是隐层，这里我们有三个节点，比如b1节点为例子他的参数就是w_{11}^{(1)}

上下标的意思分别是：下标的11的第一个1代表的是上一层的第几个节点，这里是第一个节点。第二个1代表的是本层中的第几个节点这里是第一个。上标代表的是b1,b2,b3这第一层.

中间的这个则是激活函数

这里我们的输出的计算在第一课也讲过，就是x1×对应的一个权重+x2×对应的一个权重+一个偏置，再用上我们的激活函数就可以

最后一层激活函数统一用的是softmax这里就没有写出来了

损失的计算

比如我们有两类，猫跟狗，我们可以使用softmax输出，不是猫就是狗
但要是是人跟男人那就不满足概率分布了，因为既可能归为男人也可能归为人

所以就用二分类问题了

大部分情况还是多分类问题

这里的H就是LOSS，就是我们损失的一个公式

误差的反向传播

在右边，我们要求w_{11}^{(2)}的误差梯度，也就是求他的偏导，根据链式求导法则

看不懂的话，可以对应一下基本函数导数表

权重的更新

根据上面的计算，我们可以得到后面的权重更新

但这里我们所求的损失梯度的方向是否就是我们指向全局最优的一个方向呢，也就是说指向损失减小最快的一个方向呢？

一般都是分批次进行训练  比如每次取32张图片进行训练 那么batch就是32

优化器

优化器的作用是为了使网络更快的得到一个收敛

SGD：随机梯度下降法

w_{t+1}=w_{t}-\alpha \cdot g(w_{t})

w_{t+1}就是我们更新后的参数w_{t}就是更新前的参数

缺点：1、比如训练集中，样本的标注是错误的，那么它所求出来的损失梯度就会有问题，会出现梯度方向求出来产生变化。

2、可能就陷在某个局部出不来了

在原有的基础上加了一个动量部分v_{t-1}，也就是说它除了计算当前的一个梯度之外，他还会将之前的梯度加入进来

比如在这里可能就不会考虑下一次的方向是g_{t+1}而是g_{t+1}^{*},这样就会有效抑制样本噪声的干扰

这里的S_{t}就是对我们的损失梯度进行平方求和，这样他的分母在训练过程中会越来越越大，这样就会导致越来越小,这样就是达到自适应学习率的目的。但他有个缺点就是有可能学习率下降的太快，可能还没收敛就停止训练。

比上面的优化器多了两个系数

\hat{m}_{t}是对一阶动量进行调整

\hat{v}_{t}是对二阶动量进行调整

一系列优化器，优化速度的快慢

常用的就是SGD、SGD+Momentum和Adam

小橙不吃辣椒
关注
专栏目录
Keras深度学习实战（7）——卷积神经网络详解与实现
盼小辉丶的博客
06-02 1万+
传统深度前馈神经网络的局限性之一是它并不满足平移不变性，且容易受图像中对象大小的影响。卷积神经网络 (Convolutional Neural Network, CNN) 的提出正是用于解决传统神经网络的这些缺陷。即使对象位于图片中的不同位置或其在图像中具有不同占比，CNN 也能够正确的处理这些图像，因此在对象分类/检测任务中更加有效。本节详细介绍了 CNN 的基本概念与计算流程，同时使用 Keras 构建 CNN 模型识别手写数字。.........
PyTorch深度学习实战（11）——卷积神经网络
盼小辉丶的博客
08-14 1万+
卷积神经网络 (Convolutional Neural Network, CNN) 是一种广泛应用的深度学习模型。通过参数共享、局部感知和空间结构等优势，能够更好地处理图像数据，并在图像识别、目标检测和图像生成等任务中展现出强大的能力。在本节中，介绍了卷积的计算方法以及卷积神经网络的基本组件，并使用 PyTorch 构建了卷积神经网络以深入了解其工作原理。
从零开始学深度学习——1 卷积神经网络基础
Jochen12345的博客
01-29 911
第一次接触神经网络 之前自己试着跑了一下yolov5。寒假开始对于理论部分的学习 参考资料来自B站up主——霹雳吧啦Wz
学习笔记：深度学习（3）——卷积神经网络（CNN）理论篇
热门推荐
Morganfs的博客
04-12 10万+
深度学习笔记——CNN卷积神经网络理论篇。主要包括CNN的概念、基本原理、类型综述。算是比较完善的一篇文章了。
深度学习——卷积神经网络(CNN)
Xiao_Ya__的博客
06-01 2170
深度学习——卷积神经网络(CNN)
零基础入门深度学习(4) - 卷积神经网络1
08-03
文章列表零基础入门深度学习(1) - 感知器零基础入门深度学习(2) - 线性单元和梯度下降零基础入门深度学习(3) - 神经网络和反向传播算法零基础入门深度学
（转）零基础入门深度学习（4） --- 卷积神经网络
。
11-30 352
在前面的文章中，我们介绍了全连接神经网络，以及它的训练和使用。我们用它来识别了手写数字，然而，这种结构的网络对于图像识别任务来说并不是很合适。本文将要介绍一种更适合图像、语音识别任务的神经网络结构——卷积神经网络(Convolutional Neural Network, CNN)。说卷积神经网络是最重要的一种神经网络也不为过，它在最近几年大放异彩，几乎所有图像、语音识别领域的重要突破都是卷积神经...
PyTorch深度学习实战（3）——使用PyTorch构建神经网络
盼小辉丶的博客
06-13 6万+
PyTorch 是一个用于构建深度神经网络的库，具有灵活性和可扩展性，可以轻松自定义模型。在本节中，我们将使用 PyTorch 库构建神经网络，利用张量对象操作和梯度值计算更新网络权重，并利用 Sequential 类简化网络构建过程，最后还介绍了如何使用 save、load 方法保存和加载模型，以节省模型训练时间。
Keras深度学习实战（9）——卷积神经网络的局限性
盼小辉丶的博客
06-16 6690
我们已经学习了卷积神经网络 (Convolutional Neural Network, CNN) 的强大性能。虽然卷积神经网络的局部连接、权值共享和层次化表达等特性保证了网络模型可以有效的从大量样本中学习到数据的相应特征、避免了复杂的特征提取过程，但与其它模型一样，卷积神经网络同样也具有一定的局限性，本节将通过一系列实战来介绍卷积神经网络的一些局限性。............
PyTorch深度学习实战（1）——神经网络与模型训练过程详解
盼小辉丶的博客
05-28 6万+
在本节中，我们将了解传统机器学习与人工神经网络间的差异，并了解如何在实现前向传播之前连接网络的各个层，以计算与网络当前权重对应的损失值；实现反向传播以优化权重达到最小化损失值的目标。并将实现网络的所有关键组成——前向传播、激活函数、损失函数、链式法则和梯度下降，从零开始构建并训练了一个简单的神经网络。
【机器学习】从零开始理解深度学习——揭开神经网络的神秘面纱
最新发布
loveting99的博客
09-06 1140
神经网络（Neural Network）是一种模仿人类大脑神经系统的计算模型，由大量互联的人工神经元（也称为节点或单元）构成。其核心思想是模拟生物神经系统的层次化结构，以层与层之间的连接权重传递信息，并通过不断的调整权重，使得网络能够从数据中学习到有效的特征和规律。神经网络已经成为深度学习中的基础架构，广泛应用于多个领域，包括图像识别、语音识别、自然语言处理等。深度学习框架是构建和训练神经网络模型的核心工具，它们提供了高效的计算图构建、自动求导、模型训练和评估等功能。
Keras深度学习实战（2）——使用Keras构建神经网络
盼小辉丶的博客
04-20 6万+
Keras 是用 Python 编写的高级神经网络 API，它的核心思想在于实现快速实验，该库提供了很多实用工具，可以简化构建复杂神经网络的过程。在本节中，我们将使用 Keras 库构建神经网络，感受 Keras 快速模型构建的特性。.........
零基础入门深度学习(4) - 卷积神经网络
Flouxetine1的博客
05-11 197
今天的主角——卷积神经网络（CNN）
Keras深度学习实战（1）——神经网络基础与模型训练过程详解
盼小辉丶的博客
04-10 5万+
神经网络是一种性能强大的学习算法，其灵感来自大脑的运作方式。类似于神经元在大脑中彼此连接的方式，神经网络获取输入后，通过某些函数在网络中进行传递输入信息，连接在其后的一些神经元会被激活，从而产生输出。本文主要介绍神经网络中重要的基础知识，然后使用 Python 从零开始构建神经网络的训练流程，包括前向传播和反向传播，更直观的了解神经网络的通用训练流程。............
【深度学习系列】卷积神经网络详解(二)——自己手写一个卷积神经网络.docx
12-17
卷积神经网络（Convolutional Neural Network，简称CNN）是一种深度学习模型，广泛应用于图像识别、计算机视觉等领域。本文将详细介绍卷积神经网络的核心概念、结构以及如何手动构建一个简单的CNN。 1. **卷积层**...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值