机器学习模型的误差分析-逼近误差、泛化误差、优化误差

最新推荐文章于 2024-03-09 20:54:13 发布
最新推荐文章于 2024-03-09 20:54:13 发布
阅读量2.5k 收藏 7
点赞数 2
分类专栏： 夯实-机器学习 文章标签： 误差分析 泛化误差 逼近误差 优化误差 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32623363/article/details/113272121
版权

逼近误差

模型最好能逼近真实模型到什么程度
考虑target function和能从假设空间中学到的the best function的距离
而已经证明一层隐藏层（+一层输出层）也能很好地拟合任何函数。XOR问题不能被单独一层网络解决。

泛化误差

泛化即推广能力。
考虑在假设空间中的best function和可以从数据集中学到的best function之间的距离。

优化误差

因为优化问题带来的误差。
即从能数据集中学到的best function和使用该算法从数据集中学到的best function之间的距离。
在这里插入图片描述
上图是一个很形象的示意图。实际目标函数是f*，而在函数集里能找到的最好的是f_D，而在数据集里能训练得到的最好的是f_s，而通过优化算法能找到的最好的是f_h。这其中分别就是逼近误差、泛化误差和优化误差。

参考资料

数学学院本科课程：统计计算与机器学习1

_吟游诗人
关注
  • 2
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
机器学习-误差反向传播
06-28
公司内部AI学习资料，共享给感兴趣的朋友。值得一看！！！
matlab命令窗口输出的obj，top1误差，top5误差的计算
搞么子小子
08-14 1013
为了方便说明，假设epoch数目为1，有2个batch，cnn_train函数在每一个batch上优化结束之后会分别得到两个数组： error=[obj, top1, top5] stats=sum([stats,[0 ; error]],2) error：obj为一个batch里所有样本的loss，相应地top1和top5分别为一个batch里所有样本的top1和top5误差之和； st...
模型分析与偏差和方差
最新发布
princess_pig的博客
03-09 879
在创建一个机器学习系统，当我们的模型出现问题时，我们需要去找到最优的方式，能解决我们的问题，这时我们就需要会去诊断问题。
深度学习中的【误差分析】及【模型性能改善】
qq_60488118的博客
12-21 1129
对深度学习任务中训练误差、泛化误差分析，以及对应的模型性能改善方法。
激光SLAM5-高斯牛顿优化方法
lsxpu的专栏
12-26 1000
1.1 基于优化的方法(Optimization-based Method) 理论部分： 参考代码： /** * @brief ComputeCompleteHessianAndb * 计算H*dx = b中的H和b * @param map * @param now_pose * @param laser_pts * @param H * @param b */ void ComputeHessianAndb(map_t* map, Eigen::Vector3d now_pose
【Lee-ML】03 误差与优化
星宇痕的博客
07-16 158
误差从哪里来？梯度下降的方法？
机器学习——模型误差分析
weixin_42769044的博客
01-17 1万+
偏差和方差是描述机器学习模型好坏的两个重要指标，这里整理一下。 1、定义 1.1 基本概念 偏差 ：描述的是预测值（估计值）的期望与真实值之间的差距。偏差越大，越偏离真实数据，如下图第二行所示。 方差：描述的是预测值的变化范围，离散程度，也就是离其期望值的距离。方差越大，数据的分布越分散，如下图右列所示。 其他表述：（我更喜欢周志华老师的描述） 在忽略噪声的情况下，泛化误差可分解为偏差、方差两部分...
误差分析与模型检验
qq_43649786的博客
08-22 1万+
误差分析与模型检验 误差，稳定性，检验，敏感性 误差分析 1.理论分析 理论分析的原理其实来自于高等数学中的一个概念： 显然这个式子具有普遍性，则也存在： 而对于误差分析为了保证可比性，通常进行变形处理在加上绝对值，使其变为相对误差 即可得到一元函数的相对误差分析结果 而对于二元函数主要利用全微分理论知识 同时对于得到的结果而言因变量的系数越大，就越能够认为该因子是模型的中重要影响因子，即...
[machine learning]误差分析,模型分析
weixin_62697030的博客
09-06 584
当我们找到一个算法去计算某些东西的时候,我们通常要对这个算法进行一定的分析,比如时间复杂度,空间复杂度(前者更加重要),来进行比较,判断一个算法的优劣性.对于一个训练的模型来说,同样需要某种模型来进行分析,例如代价函数等等,通过比较拟合程度,正确精度等信息来判断出这个模型的好坏,从而选择更好的模型。
误差分析是什么？如何进行误差分析？分析为了获得什么知识？
data+scenario+science+insight
06-23 4919
误差分析是什么？如何进行误差分析？分析为了获得什么知识？ 误差分析（Carrying out error analysis）是指通过人工来检查模型预测错误的数据，来帮助你判断下一步应该怎么优化算法，来提升模型的性能。 当你的模型性能比人类水平要低的时候，就可以通过人工误差分析来提高模型的性能。 进行误差分析（Carrying out error analysis），需要特意找到预测错误的样本，这些样本可能在你的训练集（train set）或者测试集（test set）中，观察错误标记的样本，.
清风数学建模~灵敏度分析、模型检验和误差分析、模型的评价改进和推广
热门推荐
upward
09-09 2万+
清风数学建模~灵敏度分析、模型检验和误差分析、模型的评价改进和推广
机器学习之误差项分析视频教程
02-22
误差分析即真实值与预测值之间的误差分析
准确测量机器学习模型的误差
07-02
在机器学习模型的效果评估中，预测误差的分析是重中之重。对于现有的各种误差测量技术，如果 使用不当，会得出极具误导性的结论。这些结论会误导模型设计者设计出过拟合的模型，过拟合是 指训练出的模型对于训练集...
机器学习之最小二乘法的误差分析
07-25
使用python对机器学习的最小二乘法进行训练误差和测试误差的分析；参考书籍李航《统计学习方法》
分类问题（五）误差分析
01-06
如果上一章中的分类器是一个真实的项目，则我们最好是要遵循机器学习项目步骤：探索数据、准备数据、尝试多个模型、列出表现最好的几个模型、使用GridSearchCV对超参数进行调优、尽可能实现自动化。现在，假设我们...
回归模型评价指标-SST、SSR、SSE、R-square
吟游诗人——吟唱生命的不朽
01-27 1万+
本文介绍了回归模型在模型选择上的常见评估指标：SST、SSR、SSE和R-square。 SST：The sum of squares total SSR：The sum of squares regression SSE：The sum of squares error SST The sum of squares total. SST是观测到的真实值与真实值的均值之间的差的平方和。 ∑i=1n(yi−y‾)2\sum_{i=1}^{n}{(y_i - \overline{y})^2}∑i=1n​(yi​
信息熵与信息增益
吟游诗人——吟唱生命的不朽
01-27 4633
信息熵（information entropy）是度量样本集合纯度/不确定度最常用的指标之一。 但要注意，信息熵越小，表示不确定度越低，确定度越高，纯度越高。 Ent(D)=−∑k=1∣γ∣pklog2pkEnt(D)=-\sum_{k=1}^{|\gamma|}{p_klog_2p_k}Ent(D)=−∑k=1∣γ∣​pk​log2​pk​ 信息熵是对信息量的度量。越小概率的事情发生所产生的信息量越大。 信息量的公式表示如下： h(x)=−log2p(x)h(x)=-log_2p(x)h(x)=−log2
神经网络权重为什么不能初始化为0，而线性回归和LR可以？
吟游诗人——吟唱生命的不朽
03-20 3358
线性回归基本可以是LR的简化版（论证思路上），因此本文将主要探讨两个问题：1. 为什么LR可以将权重初始化为0？2. 为什么神经网络不能将权重初始化为0？ 本文参考资料：https://zhuanlan.zhihu.com/p/75879624 为什么LR可以将权重初始化为0？ 为什么神经网络不能将参数初始化为0？ 以下图为例： 情况1：w和b都初始化为0 那么由于反向传播的公式，从上图一个简单反向传播可以看出，每一轮参数更新只能从后往前更新一层的参数。这且不管，而且由于初始化参数完全相同，那么上上图
基尼指数 Gini Index
吟游诗人——吟唱生命的不朽
01-27 2758
基尼系数（Gini index）反映的是从数据集D中随机选取两个样本，其类别标记不一致的概率。因此，基尼系数越小，数据纯度越高。 Gini(D)=1−∑k=1∣γ∣pk2.Gini(D)=1-\sum_{k=1}^{|\gamma|}{p_k^2}.Gini(D)=1−∑k=1∣γ∣​pk2​. ...
机器学习中误差率度量是什么
09-27
### 回答1： 在机器学习中，误差率度量是用来衡量模型预测结果与真实结果之间的差异的方法。常用的误差率度量包括： 1. 准确率（Accuracy）：用于衡量模型预测结果与真实结果相同的样本数占总样本数的比例。 2. 精确率（Precision）：用于衡量模型预测为正例的样本中，真正为正例的样本所占的比例。 3. 召回率（Recall）：用于衡量真正为正例的样本中，被模型预测为正例的样本所占的比例。 4. F1值（F1-Score）：综合考虑精确率和召回率，用于综合衡量模型的性能。 这些误差率度量方法在分类任务中得到了广泛的应用。通过衡量模型的准确率、精确率、召回率等指标，我们可以评估模型的性能，选择最优的模型，并进行模型的优化和调整。 ### 回答2： 机器学习中误差率度量是评估机器学习模型预测与真实结果之间的差异的指标。通常，我们希望机器学习模型的预测结果与真实结果尽可能接近，因此误差率度量能够帮助我们判断模型的预测能力和准确性。 在机器学习中，常见的误差率度量包括均方误差（MSE）、平均绝对误差（MAE）、平均绝对百分比误差（MAPE）等。 均方误差是最常用的一种误差率度量方法，它计算预测值与真实值之差的平方的平均值。均方误差越小，表示模型预测的准确度越高。 平均绝对误差是另一种常用的误差率度量方法，它计算预测值与真实值之差的绝对值的平均值。平均绝对误差越小，模型的预测能力越好。 平均绝对百分比误差是在计算平均绝对误差的基础上，除以真实值的绝对值来表示误差的百分比。这种度量方法常用于需要考虑到数据的相对大小的场景。 除了上述常见的误差率度量方法，根据不同的应用领域和问题特点，还可以使用其他度量方法，如均方根误差（RMSE）、R Squared（R²）等。 总之，误差率度量是机器学习中用于衡量模型预测结果与真实结果之间差异的重要指标，帮助我们评估模型的准确性和预测能力，并选择合适的模型来解决实际问题。 ### 回答3： 在机器学习中，误差率度量是用来评估机器学习模型预测结果与真实结果之间的差异程度。它主要用于度量模型对于给定数据集的准确性和可靠性。 常见的误差率度量包括：分类准确率、错误率、精确率、召回率、F1值等。 分类准确率是最常用的度量指标，它表示预测正确的样本数与总样本数之比，通常以百分比表示。该指标越高，模型的预测效果越好。 错误率是分类准确率的补数，表示预测错误的样本数与总样本数之比。该指标越低，模型的效果越好。 精确率是衡量预测为正例的样本中真正为正例的比例，其计算公式为真正例数除以预测为正例的样本数。该指标越高，模型对于正例的预测能力越强。 召回率是衡量模型将所有真正例预测为正例的能力，其计算公式为真正例数除以真正例数加上假负例数。该指标越高，模型对于真正例的识别能力越强。 F1值是精确率和召回率的调和平均值，它能综合考虑模型的准确性和召回性能。一般而言，F1值越高，模型的整体性能越好。 除了以上常用的度量指标，还有一些其他的误差率度量方式，如均方误差（MSE）在回归问题中用于评估模型的预测误差大小，对于不同的机器学习任务，选择合适的误差率度量方法是十分重要的，以便准确评估模型的性能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值