深度学习理论——目标函数（损失函数）&正则化&交叉验证

最新推荐文章于 2024-08-03 15:42:15 发布
最新推荐文章于 2024-08-03 15:42:15 发布
阅读量5.8k 收藏 9
点赞数 3
分类专栏： 深度学习 文章标签： 深度学习 正则化 损失函数 目标函数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Miss_yuki/article/details/80668898
版权
本文介绍了深度学习中目标函数的概念，包括分类问题中的交叉熵损失函数和回归问题中的l1、l2目标函数。接着讨论了正则化，如l1、l2正则化及其在防止过拟合中的作用，以及dropout技术。最后，简述了交叉验证在提高模型泛化能力上的重要性。
摘要由CSDN通过智能技术生成

大家好，继续理论学习，网络的设置接近了尾声，本次学习目标函数和正则化。

1.目标函数

(1)分类问题中的目标函数

这类问题中最常用的就是交叉熵函数了，即使用了softmax的损失函数。假设共有N个训练样本，针对网络最后分类层第i个样本的输入特征为xi，其对应的真实标记为yi，hi为其网络对应的最终输出，C为分类任务的类别数。有了如上定义，其形式可写为：

其中前面的1/N是一个常数，加不加都一样，后面的累加部分我还看到一个版本是再乘上真实值y。

(2)回归问题中的目标函数

在分类任务中，最后的样本真实标记实际上是一条一维向量，仅在yi处标记为1其余地方均为0。但回归问题的输出就不一样了，也是一条一维向量，但其每一个元素都为实数，而不是仅为二值。

首先介绍残差的概念：即xi真实值和预测值的差


则回归常用的l1，l2目标函数定义如下：(M为标记向量总维度)


最低0.47元/天 解锁文章
Miss_yuki
关注
专栏目录
5. 深度学习——正则化
qq_32468785的博客
11-12 501
正则化是在训练机器学习模型时使用的一种技术，旨在减小模型的过拟合（overfitting）风险。过拟合是指模型在训练数据上表现很好，但在未见过的测试数据上表现较差的现象。正则化通过在损失函数中引入惩罚项来限制模型的复杂度，以防止模型过度拟合训练数据。惩罚项会在优化过程中对模型的参数进行调整，以平衡模型的拟合能力和泛化能力。正则化的作用包括：防止过拟合：正则化技术通过限制模型的复杂度，减少模型对训练数据的过度拟合，提高模型在未见过的数据上的泛化能力。
PyTorch深度学习实战（10）——过拟合及其解决方法
盼小辉丶的博客
08-08 2217
过拟合是指机器学习模型在训练集上表现很好，但在测试集或未见过的数据上表现较差的现象。过拟合是由于模型在训练过程中过度拟合了训练数据的特点和噪声，导致了对训练样本的过度依赖和泛化能力不足。为了解决过拟合问题，选择适当的方法需要对具体问题和数据进行分析，并在模型构建和调优过程中进行实验和验证。在实践中，通常需要权衡模型的复杂度和泛化能力，以获得更好的结果。
深度学习：目标函数（objective function）
热门推荐
默语之声的博客
07-08 1万+
深度学习：目标函数（objective function）深度学习：目标函数（objective function）或损失函数（loss function）分类任务中的目标函数 深度学习：目标函数（objective function）或损失函数（loss function） 目标函数通过样本的预测结果与真实标记产生的误差反向传播指导网络参数学习和表示学习。 分类任务中的目标函数 交叉熵损失函数...
【深度学习】目标函数
JNing
02-01 1万+
【深度学习】目标函数
机器学习 4种常见目标函数介绍+代码实现
最新发布
Henry的博客
08-03 503
目标函数在机器学习中至关重要，不同的目标函数甚至能影像模型的性能。目标函数类似于损失函数的总称，然后让目标函数优化取得最大或者最小值这样，总而让网络收敛。
机器学习、深度学习中的目标函数、损失函数、梯度概念
AndrewPerfect的博客
04-06 895
在训练过程中，损失函数的值被用来作为优化算法的目标，以便通过。，而梯度是一种用于指导参数更新的重要工具。（或最大化）的函数。在机器学习和优化中，：这个术语通常指的是在监督学习中用来衡量。损失函数是目标函数的一部分，它。：某些情况下为目标函数。在机器学习和深度学习中，：这个术语通常指的是。
代价函数，损失函数，目标函数,正则化
GodGump的博客
04-27 233
损失函数（Loss Function ）是定义在单个样本上的，算的是一个样本的误差。 代价函数（Cost Function ）是定义在整个训练集上的，是所有样本误差的平均，也就是损失函数的平均。 目标函数（Object Function）定义为：最终需要优化的函数。等于经验风险+结构风险（也就是Cost Function + 正则化项）。 正则化（Regularization）：最终目的是让模型在面对新数据的时候，可以有很好的表现。（尽可能避免过拟合和欠拟合，选取最佳目标函数） ...
机器学习之目标函数，损失函数和代价函数
ShaneHolmes
06-14 2177
1. 基本概念： 损失函数(loss function)：计算的是一个样本的误差 代价函数(cost function)：是整个训练集上所有样本误差的平均 目标函数：代价函数 + 正则化项 2. 实际应用 损失函数和代价函数是同一个东西，目标函数是一个与他们相关但更广的概念，举例说明： 上面三个图的曲线函数依次为f1(x),f2(x),f3(x)，我们想用这三个函数分别来拟合真实值Y。 我们给定...
深度学习————海洋生物识别（副本）
yixuan03的博客
11-05 788
针对海洋鱼类识别难的问题，本实践使用卷积神经网络构建深度学习模型，自动提取高质量的特征，从而解决海洋鱼类识别的问题。海洋中的鱼类资源不仅有一定的食用价值，而且有很高的药用价值，近年来，世界各国对于海洋鱼类资源的重视程度与日俱增。总体而言，数据预处理的步骤包括调整图像大小和归一化，以确保输入数据的格式正确并处于合适的范围内，而训练集和验证集的划分比例为9:1，以进行模型的训练和验证。然而，对于图像分类任务，可以根据实际需求和数据集的特点尝试不同的网络架构，包括不同的卷积层数、卷积核大小、全连接层结构等。
深度学习 从零开始 —— 神经网络（六），回归问题，波士顿房间数据
12-22
在这个波士顿房价预测的例子中，我们展示了如何运用深度学习中的神经网络进行回归任务，并通过K折交叉验证提高模型的稳定性和可靠性。随着深度学习技术的不断发展，这些基本步骤仍然是解决类似问题的基础。
Deep learning系列（九）目标函数
du_mengnan的专栏
10-15 4562
介绍了神经网络目标函数中的数据项和正则化项的几种构造方式。
关于目标函数正则项
weixin_30947043的博客
12-27 301
在machine learning的优化中，经常看到一些目标表达式加上正则项来防止过拟合。 比如： 最后一项就是正则项。 加入正则项会导致weight decay，它使得weight趋向于零，因为对于overfitting现象，weight值会过拟合的高，加入正则项使得优化式和数据妥协，防止过拟合现象。 转载于:https://www.cnblogs.com/jilichua...
深度学习笔记-13.损失函数、代价函数、目标函数
12-26 2354
参考文章： https://blog.csdn.net/zhangdongren/article/details/83377272 https://blog.csdn.net/yukinoai/article/details/84197930 https://www.jianshu.com/p/b3dbf913b421 https://www.jiqizhixin.com/article...
深度学习数学基础(三): 激活函数、正则化函数、损失函数、评价指标
天狼啸月1990的博客
07-08 873
1. sigmoid函数
[转载]机器学习中的目标函数、损失函数、代价函数的区别
qq_36248632的博客
05-10 189
原文链接：https://www.zhihu.com/question/52398145 首先给出结论：损失函数和代价函数是同一个东西，目标函数是一个与他们相关但更广的概念，对于目标函数来说在有约束条件下的最小化就是损失函数（loss function）。 举个例子解释一下:（图片来自Andrew Ng Machine Learning公开课视频） 上面三个图的函数依次为： 我们是...
深度学习中损失函数、目标函数、决策函数、代价函数的含义
zjiafbaodaozmj的博客
12-15 1812
代价函数就是损失函数（由于翻译和个人理解的不同才有了不同的名称） 目标函数是具有约束条件的损失函数（如带有正则化项） obj=loss+Ω loss就是损失函数 控制原有数据的拟合程度 Ω就是结构损失 控制拟合模型的复杂程度 决策函数就是确定决策边界的那个函数 ...
正则化详解
WangNing's Blog
03-18 506
正则化 机器学习中，过拟合是一个很常见的问题。过拟合指的是只能拟合训练数据，但不能很好地拟合不包含在训练数据中的其他数据的状态。 发生过拟合的原因，主要有以下两个。 • 模型拥有大量参数、表现力强。 • 训练数据少。 训练数据较少时，发生过拟合，很好理解，因为样本较少，而模型为了减少误差，过分拟合了训练数据。 当模型参数很多时，模型就对样本特征有更多的“记忆容量”。举个例子，给定一组猫的图片，训...
损失函数、正则化、交叉验证
shiqi,bao的博客
07-13 1986
期望风险或期望损失：是真实的，需要x,y的联合概率分布相乘 经验风险或经验损失：机器学习问题不可能已知x,y的联合概率分布，如果已知的话，那么x得出y就很容易了。那么根据大数定理可以使用1/n*损失函数来代替期望风险，得出经验风险。结构风险最小化：是带正则项的经验风险最小化。 经验风险最小化容易带来模型复杂度过高，过拟合问题正则化： 是结构风险最小化策略的实现。正则化项一般是模型复杂度的单调递
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值