深度学习理论——目标函数（损失函数）&正则化&交叉验证

最新推荐文章于 2024-08-19 19:51:08 发布
最新推荐文章于 2024-08-19 19:51:08 发布
阅读量5.8k 收藏 9
点赞数 3
分类专栏： 深度学习 文章标签： 深度学习 正则化 损失函数 目标函数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Miss_yuki/article/details/80668898
版权
本文介绍了深度学习中目标函数的概念，包括分类问题中的交叉熵损失函数和回归问题中的l1、l2目标函数。接着讨论了正则化，如l1、l2正则化及其在防止过拟合中的作用，以及dropout技术。最后，简述了交叉验证在提高模型泛化能力上的重要性。
摘要由CSDN通过智能技术生成

大家好，继续理论学习，网络的设置接近了尾声，本次学习目标函数和正则化。

1.目标函数

(1)分类问题中的目标函数

这类问题中最常用的就是交叉熵函数了，即使用了softmax的损失函数。假设共有N个训练样本，针对网络最后分类层第i个样本的输入特征为xi，其对应的真实标记为yi，hi为其网络对应的最终输出，C为分类任务的类别数。有了如上定义，其形式可写为：

其中前面的1/N是一个常数，加不加都一样，后面的累加部分我还看到一个版本是再乘上真实值y。

(2)回归问题中的目标函数

在分类任务中，最后的样本真实标记实际上是一条一维向量，仅在yi处标记为1其余地方均为0。但回归问题的输出就不一样了，也是一条一维向量，但其每一个元素都为实数，而不是仅为二值。

首先介绍残差的概念：即xi真实值和预测值的差


则回归常用的l1，l2目标函数定义如下：(M为标记向量总维度)


最低0.47元/天 解锁文章
Miss_yuki
关注
专栏目录
5. 深度学习——正则化
qq_32468785的博客
11-12 547
正则化是在训练机器学习模型时使用的一种技术，旨在减小模型的过拟合（overfitting）风险。过拟合是指模型在训练数据上表现很好，但在未见过的测试数据上表现较差的现象。正则化通过在损失函数中引入惩罚项来限制模型的复杂度，以防止模型过度拟合训练数据。惩罚项会在优化过程中对模型的参数进行调整，以平衡模型的拟合能力和泛化能力。正则化的作用包括：防止过拟合：正则化技术通过限制模型的复杂度，减少模型对训练数据的过度拟合，提高模型在未见过的数据上的泛化能力。
PyTorch深度学习实战（10）——过拟合及其解决方法
盼小辉丶的博客
08-08 3037
过拟合是指机器学习模型在训练集上表现很好，但在测试集或未见过的数据上表现较差的现象。过拟合是由于模型在训练过程中过度拟合了训练数据的特点和噪声，导致了对训练样本的过度依赖和泛化能力不足。为了解决过拟合问题，选择适当的方法需要对具体问题和数据进行分析，并在模型构建和调优过程中进行实验和验证。在实践中，通常需要权衡模型的复杂度和泛化能力，以获得更好的结果。
损失函数正则化详解
weixin_71405027的博客
01-17 1819
有些朋友对正则化的原理及使用经常会混淆, 今天来跟大家详细聊一聊正则化。正则化是机器学习中一种常用的技术，它通过在模型的中引入额外的惩罚项，以降低模型的复杂度并提高其泛化能力。正则化可以帮助我们解决过拟合的问题，使得模型更好地适应未见过的数据。在线性回归等线性模型中，正则化将在损失函数中加入一个正则化项，该项会惩罚模型系数的大小。常见的正则化方法有L1正则化（Lasso回归）、L2正则化（Ridge回归）和弹性网络（Elastic Net）。控制模型的复杂度，减少过拟合的风险。
深度学习：目标函数（objective function）
默语之声的博客
07-08 1万+
深度学习：目标函数（objective function）深度学习：目标函数（objective function）或损失函数（loss function）分类任务中的目标函数 深度学习：目标函数（objective function）或损失函数（loss function） 目标函数通过样本的预测结果与真实标记产生的误差反向传播指导网络参数学习和表示学习。 分类任务中的目标函数 交叉熵损失函数...
机器学习：逻辑回归原理、参数介绍和优缺点
最新发布
mohanyelong的博客
08-19 2077
机器学习：逻辑回归原理、参数介绍和优缺点
【深度学习】目标函数
JNing
02-01 1万+
【深度学习】目标函数
机器学习、深度学习中的目标函数、损失函数、梯度概念
AndrewPerfect的博客
04-06 998
在训练过程中，损失函数的值被用来作为优化算法的目标，以便通过。，而梯度是一种用于指导参数更新的重要工具。（或最大化）的函数。在机器学习和优化中，：这个术语通常指的是在监督学习中用来衡量。损失函数是目标函数的一部分，它。：某些情况下为目标函数。在机器学习和深度学习中，：这个术语通常指的是。
Deep learning系列（九）目标函数
du_mengnan的专栏
10-15 4582
介绍了神经网络目标函数中的数据项和正则化项的几种构造方式。
代价函数，损失函数，目标函数,正则化
GodGump的博客
04-27 248
损失函数（Loss Function ）是定义在单个样本上的，算的是一个样本的误差。 代价函数（Cost Function ）是定义在整个训练集上的，是所有样本误差的平均，也就是损失函数的平均。 目标函数（Object Function）定义为：最终需要优化的函数。等于经验风险+结构风险（也就是Cost Function + 正则化项）。 正则化（Regularization）：最终目的是让模型在面对新数据的时候，可以有很好的表现。（尽可能避免过拟合和欠拟合，选取最佳目标函数） ...
机器学习之目标函数，损失函数和代价函数
ShaneHolmes
06-14 2243
1. 基本概念： 损失函数(loss function)：计算的是一个样本的误差 代价函数(cost function)：是整个训练集上所有样本误差的平均 目标函数：代价函数 + 正则化项 2. 实际应用 损失函数和代价函数是同一个东西，目标函数是一个与他们相关但更广的概念，举例说明： 上面三个图的曲线函数依次为f1(x),f2(x),f3(x)，我们想用这三个函数分别来拟合真实值Y。 我们给定...
目标函数 = 损失函数+正则化
热门推荐
MOL
10-20 1万+
目标函数： 即最优化经验风险（训练集的平均损失：即拟合的好坏）和结构风险（用来度量模型的复杂度，机器学习中叫做正则化：模型不要太复杂，否则过拟合） 首先给出结论：损失函数和代价函数是同一个东西（损失函数只针对单个样本，代价函数是计算整个训练集所有损失函数之和的平均值），目标函数是一个与他们相关但更广的概念，对于目标函数来说在有约束条件下的最小化就是损失函数（loss function）。 举个例子解释一下:（图片来自Andrew Ng Machine Learning公开课视频） 上面...
深度学习————海洋生物识别（副本）
yixuan03的博客
11-05 826
针对海洋鱼类识别难的问题，本实践使用卷积神经网络构建深度学习模型，自动提取高质量的特征，从而解决海洋鱼类识别的问题。海洋中的鱼类资源不仅有一定的食用价值，而且有很高的药用价值，近年来，世界各国对于海洋鱼类资源的重视程度与日俱增。总体而言，数据预处理的步骤包括调整图像大小和归一化，以确保输入数据的格式正确并处于合适的范围内，而训练集和验证集的划分比例为9:1，以进行模型的训练和验证。然而，对于图像分类任务，可以根据实际需求和数据集的特点尝试不同的网络架构，包括不同的卷积层数、卷积核大小、全连接层结构等。
深度学习 从零开始 —— 神经网络（六），回归问题，波士顿房间数据
12-22
在这个波士顿房价预测的例子中，我们展示了如何运用深度学习中的神经网络进行回归任务，并通过K折交叉验证提高模型的稳定性和可靠性。随着深度学习技术的不断发展，这些基本步骤仍然是解决类似问题的基础。
【进阶版】机器学习之神经网络与深度学习基本知识和理论原理（07）
迷茫与徘徊只会让你陷入绝境，欢迎私信博主，带你开始提升变现价值！
08-22 1411
机器学习算法知识、数据预处理、特征工程、模型评估——原理+案例+代码实战机器学习之Python开源教程——专栏介绍及理论知识概述机器学习框架及评估指标详解Python监督学习之分类算法的概述数据预处理之数据清理，数据集成，数据规约，数据变化和离散化特征工程之One-Hot编码、label-encoding、自定义编码卡方分箱、KS分箱、最优IV分箱、树结构分箱、自定义分箱特征选取之单变量统计、基于模型选择、迭代选择机器学习八大经典分类万能算法——代码+案例项目开源、可直接应用于毕设+科研项目。
优化神经网络——学习率调整与正则化
优化神经网络是深度学习模型训练中的关键步骤，其目标是最小化损失函数，以提高模型的泛化能力和预测准确性。 ## 1.2 学习率调整的重要性 学习率是优化算法中控制参数更新步长的超参数，调整学习率能够影响模型的...
关于目标函数正则项
weixin_30947043的博客
12-27 319
在machine learning的优化中，经常看到一些目标表达式加上正则项来防止过拟合。 比如： 最后一项就是正则项。 加入正则项会导致weight decay，它使得weight趋向于零，因为对于overfitting现象，weight值会过拟合的高，加入正则项使得优化式和数据妥协，防止过拟合现象。 转载于:https://www.cnblogs.com/jilichua...
深度学习笔记-13.损失函数、代价函数、目标函数
12-26 4945
参考文章： https://blog.csdn.net/zhangdongren/article/details/83377272 https://blog.csdn.net/yukinoai/article/details/84197930 https://www.jianshu.com/p/b3dbf913b421 https://www.jiqizhixin.com/article...
深度学习数学基础(三): 激活函数、正则化函数、损失函数、评价指标
天狼啸月1990的博客
07-08 902
1. sigmoid函数
[转载]机器学习中的目标函数、损失函数、代价函数的区别
qq_36248632的博客
05-10 200
原文链接：https://www.zhihu.com/question/52398145 首先给出结论：损失函数和代价函数是同一个东西，目标函数是一个与他们相关但更广的概念，对于目标函数来说在有约束条件下的最小化就是损失函数（loss function）。 举个例子解释一下:（图片来自Andrew Ng Machine Learning公开课视频） 上面三个图的函数依次为： 我们是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值