关于深度学习的问题笔记

最新推荐文章于 2024-11-09 21:49:08 发布
最新推荐文章于 2024-11-09 21:49:08 发布
阅读量350 收藏 1
点赞数 1
分类专栏： 人工智能 文章标签： 深度学习 人工智能 python 神经网络 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35858902/article/details/130462009
版权
在深度学习中，批处理的大小对训练过程有显著影响。损失平均通过除以batch_size使得梯度不受批大小影响，保持训练稳定性。较小的batch_size能引入更多噪音，有助于防止过拟合。另一方面，也可调整学习率来抵消批大小的变化。
摘要由CSDN通过智能技术生成

感谢沐神教我深度学习🙏

损失为什么要平均？

平均即除以batch_size，若不除，则批越大梯度越大，梯度下降的步长就越大。除以batch_size可使梯度与批大小无关。也可以不在损失函数中除，将学习率lr除以batch_size也一样。参照下面公式（图片来自@跟李沐学AI  的动手学深度学习）

 批大小对训练的影响

批越小越好。随机梯度下降的随机会带来噪音，批越小，则噪音越大，对于神经网络来说，噪音是好事，可以抑制过拟合

司徒法克
关注
专栏目录
深度学习知识点全面总结
热门推荐
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
01-05 27万+
本文详细介绍深度学习概念及原理，参考网上相关资料汇总，内容包含众多章节，包括神经网络基础及常见深度学习网络结构介绍，用于个人学习总结，适合深度学习初学者学习。同时介绍机器学习常见的分类算法：SVM、神经网络、随机森林、逻辑回归、KNN、贝叶斯。常见的监督学习算法：感知机、SVM、人工神经网络、决策树、逻辑回归.........
pytorch深度学习实操小tips（不再更新）
qq_40349484的博客
07-22 675
最近开始上深度学习课了，算是系统性的巩固学习。在写作业的时候，不报错结果却离谱的情况简直太绝望了。随时记录一下。 1.手动实现各种loss不要除batch_size 在老师的PPT里，loss都是这种形式，即求和再除n（n是样本总数） 实际操作的时候是不除n的，一个batch的loss当然是这个batch中每个样本的loss的加和，至于ppt为什么这么写，我猜这个l(θ)大概是针对每个样本的吧。。 手动实现crossEntropy代码如下： def crossEntropy(y_hat, y):
Pyroch损失函数之BCELoss
奥古斯都
07-02 1万+
这也是最近在做的一个模型中的损失函数，所有就一探究竟了解一下这个函数。首先它是一个二分类损失函数。可以是单标签的损失函数也可是多标签的损失函数。 1、单标签 这个图像是不是猫：1代表是，0代表不是。这就是单标签的二分类问题。 2、多标签 和单标签一样，不过这个是多标签而已，所以它的label就是[1,1]。第一列代表有没有狗，第二列代表有没有猫。所以也称之为二进制交叉熵。 3、BCELoos损失函数 class torch.nn.BCELoss(weight: Optional[to.
PyTorch 对 Batch 中每个样本计算损失 Loss for each sample
Haulyn5的博客
03-24 1万+
前言 PyTorch 的损失函数（这里我只使用与调研了 MSELoss）默认会对一个 Batch 的所有样本计算损失，并求均值。如果我需要每个样本的损失用于之后的一些计算（与优化模型参数，梯度下降无关），比如使用样本的损失做一些操作，那使用默认的损失函数做不到，搜了一下没有找到相关的资料，在 PyTorch 的论坛发现了相关的问题。 Loss for each sample in batch - PyTorch Forumshttps://discuss.pytorch.org/t/loss-for-e
为什么要先将损失函数求和（平均）再反向传播loss.mean().backward()
qq_31049349的博客
07-25 1419
给定初始值 w= 0.0 和 learning_rate= 0.01，我们需要计算 新的w，然后用梯度下降法更新。梯度下降法的更新规则为：w = w - learning_rate *，其中 learning_rate 是学习率，用于控制更新的步长。现在，我们来计算第一次得到的 w 的结果。所以第一次得到的 w 的结果为 -0.3。接下来，使用链式法则计算损失函数对于。，可以使用梯度下降法的更新规则来更新。首先，计算损失函数对于模型输出。以下是计算一次w的过程。
在神经网络中，批次中的单个梯度是求和还是求平均值
weixin_44491551的博客
09-18 341
另一个直观的例子是，通过平均损失，我们将损失输出归一化，这也有助于稳定训练，因为我们的网络对学习率变得不那么敏感。如果我们使用sum，我们。如果我们将交叉熵损失输出相加，我们会产生与批量大小成比例的损失，因为在训练期间，我们的损失与小批量大小成比例增长。这取决于你想要实现什么。损失函数作为训练神经网络的指南，使其在任务中变得更好。然而，如果我们取平均值，我们的损失与批量大小无关，因为我们取平均值。，这迫使我们使用低得多的学习率，从而使我们的网络对超参数值更加敏感。对于您的用例，我建议取平均值，
吴恩达深度学习笔记.pdf
11-21
【吴恩达深度学习笔记】是一份针对吴恩达教授在Coursera平台上的深度学习课程的详尽笔记，旨在帮助已有一定编程基础和机器学习知识的计算机专业人士深入理解和应用深度学习技术。该课程分为5个部分，涵盖了深度学习...
李宏毅老师2021深度学习课程笔记.pdf
10-08
李宏毅老师的2021深度学习课程笔记中提到了几个关键知识点，涉及了深度学习训练技巧以及理论基础。 首先，课程提到了模型泛化能力的重要性，尤其是在模型的测试集划分上。这里提到了两种测试集的划分：public ...
深度学习基础笔记
04-28
本笔记主要针对初学者，旨在提供一个深度学习基础知识的入门指南。 首先，我们要理解深度学习的核心概念。深度学习的主要特点在于其“深度”，即多层神经网络结构。这些网络由输入层、隐藏层和输出层组成，其中隐藏...
吴恩达深度学习课程笔记
02-06
吴恩达深度学习课程笔记
step，batch，epoch名词解释
touristourist的博客
08-13 1356
转载自：https://www.jianshu.com/p/78646919ed20 1. 名词解释 Step: 训练模型的步数 Batch Size（批尺寸）： 计算梯度所需的样本数量，太小会导致效率低下，无法收敛。太大会导致内存撑不住，Batch Size增大到一定程度后，其下降方向变化很小了，所以Batch Size是一个很重要的参数。 为什么需要有 Batch_Size : ba...
深度学习的基本常识，梯度下降法与小批量随机梯度下降
weixin_48780159的博客
07-23 175
梯度下降：通过不断地在损失函数递减的方向上更新参数来降低误差 最简单的用法是计算损失函数关于模型参数的导数 但实际中的执行可能会非常慢，因为在每一次更新参数之前，必须遍历整个数据集，因此会随机抽取小批量样本（超参数，根据自己的硬件设备调整，以合理的利用硬件资源），计算小批量的平均损失关于模型参数的导数。是否将梯度乘以一个预先确定的正数lr（学习率，超参数，通过训练迭代结果来调整的） 在神经网络训练时，常常要采用批（batch_size)输入数据的方法，为此需要设定每次输入的批数据大小batch_size，而
均值的损失函数_为什么MSE损失的收敛目标是均值，而MAE的是中位数？
weixin_34481252的博客
01-13 1152
你了解各种损失函数的差别吗？以均方误差(MSE)和平均绝对值误差(MAE)为例，这两位是回归模型中的常客了。从直觉上看，都是要预估与目标更一致，表面上只是二次和一次的差别，更深入的差异我们可以从数学上挖掘。无论损失函数多么花哨，最终都要归结于收敛值的不同，这也是不同损失函数各自价值的体现: 我们可以根据需要选择合适的函数。这里我们就看下二者收敛目标的差别。MSE这是MSE损失函数的计算公式。m是样...
CNN神经网络优化常用函数范式一览(损失函数loss,学习率learning_rate,滑动平均ema,正则化regularization)
dolor_059的博客
08-27 4761
来源: 学习北大曹健老师Tensorflow课程后做的学习笔记,整理后在此分享给大家. 之前是抄在本子上的, 可能存在一些抄写错误或是标记缺失, 若发现了可以评论告诉我.谢谢. 一. 损失函数(loss):预测值y与已知答案y_的差距 神经网络优化目标即找到适合的w以减小loss, 有三种减小loss的方法 1. 均方误差mse(Mean Squared Error) 2. 自定义损失函...
linear_regression_and_basic_optimization_algorithm
m0_45044194的博客
08-14 149
手动实现线性回归 %matplotlib inline import random import torch from d2l import torch as d2l def synthetic_data(w, b, num_examples): """生成 y = Xw+b+噪声""" X = torch.normal(0, 1, (num_examples, len(w))) y = torch.matmul(X, w)+b y += torch.normal(0, 0
CNN和MobileNetV2搭建的水果识别模型
chengxuyuanlaow的博客
11-09 728
在本项目中着重探索了利用深度学习模型进行水果图像分类的方法。具体而言包括使用卷积神经网络（CNN）模型进行水果图片的分类和探索轻量级神经网络模型MobileNetV2在水果图像分类中的应用。在第一项任务中，使用TensorFlow构建了一个简单的CNN模型，并通过调整模型参数来提高准确率。在实验过程中发现由于数据集的问题，训练结果并不理想，测试集上的准确率低于预期，同时出现了过拟合的情况。针对这个问题，从优化器、学习率和训练轮次等方面入手，对模型进行了改进和调整。
[卷积神经网络]使用YOLOv11训练自己的模型
就随便写写....
11-08 697
使用YOLOv11训练自己的数据
每天五分钟深度学习PyTorch：基于全连接神经网络完成手写字体识别
最新发布
huanfeng_AI的博客
11-09 296
上一节我们学习了搭建普通的全连接神经网络，我们现在用它来解决一个实际问题，我们用它跑一下手写字体识别的数据，然后看看它的效果如何。
《深度学习》——深度学习基础知识（全连接神经网络）
qq_59702185的博客
11-07 1063
在介绍神经网络之前，我们先看下面这幅图：人工智能>机器学习>深度学习深度学习是机器学习的⼀个⼦集，也就是说深度学习是实现机器学习的⼀种⽅法。与机器学习算法的主要区别如下图所示：传统机器学习依赖于人工设计特征，并进行特征提取，而深度学习算法不需要人工，而是依赖算法自动提取特征，这也是深度学习被看做黑盒子、可解释性差的原因。卷积神经网络（CNN）循环神经网络（RNN）生成对抗网络（GAN）深度强化网络（DRN）
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值