李宏毅机器学习03 bias&variance

最新推荐文章于 2024-08-27 10:36:28 发布
最新推荐文章于 2024-08-27 10:36:28 发布
阅读量97 收藏
点赞数
分类专栏： 李宏毅机器学习 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41571641/article/details/114709831
版权

误差来源于何处？

  • bias 没有瞄准靶心
  • variance 瞄准靶心后仍有偏移

在这里插入图片描述

Variance

如果将上一节的试验（10只宝可梦做回归）重复100次，对不同的模型，结果不同在这里插入图片描述
从上图可以看出：一次模型的variance比较小，更复杂的模型variance更大

为什么？

简单的model受不同data的影响较小(我的理解：两点确定一条直线，曲线需要更多的点？

极端例子： f ( x ) = c f(x)=c f(x)=c ，不论什么data，output都是c

在这里插入图片描述

Bias

在这里插入图片描述

黑线：真实function
蓝线：5000个预测function的平均值
下图分别是 一次 三次 五次 模型的结果
在这里插入图片描述
从上图可以看出：五次的bias小，一次的bias大

为什么？

直观理解：简单模型可能并不包含target，无论怎么拟合都无法到达靶心

在这里插入图片描述

bias vs variance

简单模型 bias大 variance小
复杂模型 bias小 variance大
在这里插入图片描述
bias大怎么办？

  • 重新设计一个更复杂的模型
    在这里插入图片描述
    variance大怎么办？

  • 收集更多数据

  • 正则项让曲线变平化（当然这会让space变小，可能会漏掉目标function，使得bias变大，所以需要一个权衡）
    在这里插入图片描述

model selection

trade-off between bias and variance ，minimize total error

cross validation 交叉验证
N-fold cross validation
在这里插入图片描述

lxmm1999
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
李宏毅机器学习 Bias and Variance
herosunly的博客
03-25 1万+
Bias and Variance Where does the error come from?（误差是从哪里来的？） Ans:Bias and Variance（偏差和方差）。 引入Bias and Variance是否可以解决下图中的疑问，即复杂的模型能够较好的拟合训练数据（训练数据误差小），但是却无法很好的拟合测试数据（测试数据误差大）。 y^=f^(x)\hat{y} = \hat{f...
【笔记】机器学习 - 李宏毅 - 3 - Bias & Variance
YanqiangWang的专栏
07-30 78
A more complex model does not always lead to better performance on testing data. Because error due to both of 'bias' and 'variance'. From training data, we can find \(f^*\), \(f^*\) is an enstima...
李宏毅 机器学习笔记-03 Bias and Variance
花花的博客
07-25 415
前情回顾：上节课我们的五个模型在测试集上得到如下图的结果。并且得出一个结论，一个更复杂的模型在测试集上往往得不到好的结果，因为overfitting。 今天我们要讨论的是error来自什么地方？ 通过这节课的学习我们就可以知道：error的来源，并且如何挑选方法来提升model的表现。 依旧沿用上节课的例子，我们知道Niantic存在一个公式f^\hat{f}f^​来计算神奇宝贝升级后的CP值。...
（2020李宏毅）机器学习-Bias and Variance
顾道长生的科研笔记
09-10 267
文章目录Bias and Variance of EstimatorModel SelectionCross ValidationN-fold Cross Validation Bias and Variance of Estimator Estimate the mean of a variable x assume the mean of x is ???? assume the variance of x is ????2 Estimator of mean ???? Sample N poi
李宏毅机器学习笔记（2）— bias and variance
qq_37217397的博客
01-30 180
Where does the error come from?
李宏毅机器学习 03梯度下降
yutc0202的博客
10-15 260
梯度下降
李宏毅机器学习2020笔记（三）Bias Variance
www588555的博客
04-13 449
一个越复杂的model并不意味着在测试数据上可以得到越好的结果。 那么导致这种error的原因是：bias(偏差)和variance(方差) 我们将正确完美的函数定义成
【李宏毅】机器学习 笔记02（诊断error来源：bias&&variance）
Mr_Kingk的博客
07-26 133
Bias是 “用所有可能的训练数据集训练出的所有模型的输出的平均值” 与 “真实模型”的输出值之间的差异； Variance则是“不同的训练数据集训练出的模型”的输出值之间的差异。 参考链接：https://www.cnblogs.com/learnAI/p/12436477.html 估计bias&&variance： 诊断处理： 处理bias： 处理variance： ...
李宏毅机器学习--机器学习中的关键问题：在bias和variance之间trade-off
Zoo0ooey的博客
07-15 279
目录误差来源Bias vs. Variancebias大 -> 欠拟合variance大 -> 过拟合在bias和variance之间tarde-off选择模型 -> 交叉验证 误差来源 Error有两个来源：bias（偏差）和variance（方差） Error反映的是整个模型的准确度，Bias反映的是模型的输出结果与真实值之间的误差，即模型本身的精准度，Variance反映的是模型每一次输出结果与模型输出期望之间的误差，即模型的稳定性。 Bias vs. Variance bia
李宏毅2020机器学习课程笔记（一）- 分类与回归
热门推荐
⚡
04-25 1万+
包含李宏毅机器学习视频P1-P16的课程梗概
李宏毅机器学习2021系列 作业2-年收入判断
qq_40326280的博客
03-17 2683
李宏毅机器学习2021系列 作业2-年收入判断 项目描述 二元分类是机器学习中最基础的问题之一，在这份教学中，你将学会如何实作一个线性二元分类器，来根据人们的个人资料，判断其年收入是否高于 50,000 美元。我们将以两种方法: logistic regression 与 generative model，来达成以上目的，你可以尝试了解、分析两者的设计理念及差别。 实现二分类任务： 个人收入是否超过50000元？ 数据集介绍 这个资料集是由UCI Machine Learning Repository
2020李宏毅机器学习课程作业——Homework2：classification（Logistic Regression）
梅菜扣肉
06-27 2133
一、作业获取途径 课程网址：http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML20.html B站视频地址：https://www.bilibili.com/video/BV1JE411g7XF?from=search&seid=18330864429491522852 如果不能访问课程网址，作业的压缩包如下，链接：https://pan.baidu.com/s/1PZZnWZKZONDCGTMznKINEg 提取码：5of8 案例提供的是在Col.
李宏毅2020机器学习作业2——Classification
科研鬼才的博客
04-03 5383
开始之前声明：本文参考了李宏毅机器学习作业说明（需翻墙），基本上是将代码复现了一遍，说明中用的是google colab（由谷歌提供的免费的云平台），我用的是Jupyter Notebook 本文用到的资料在百度网盘自取点击下载，提取码：zdth。请将所需资料下载解压，确保资料中有6个文件，并保存到自己的目录当中。 【博主的环境：Anaconda3+Jupyter Notebook，pyth...
机器学习之标量和向量的定义
程序新视界
08-27 205
在编程中，标量通常对应于基本数据类型（如整数、浮点数）、向量则可以通过数组、列表或特定的向量类型来实现，特别是在进行科学计算、数据分析或机器学习等领域时，向量的概念非常重要。在二维或三维空间中，向量可以用箭头来表示，箭头的长度代表了向量的大小（有时也称为向量的“模”），箭头的方向则表明了向量的方向。数学上，向量通常表示为有序的数值对或数值组，如二维向量（x, y）或三维向量（x, y, z）。比如，在处理图像数据、物理模拟、机器学习等领域中，对这些基本概念的理解将直接影响到程序的效率和效果。
机器学习——支持向量机
最新发布
2301_79815102的博客
08-27 643
支持向量机对于分类问题应用很多
第九周：机器学习笔记
Zcymatics的博客
08-23 1220
本周主要对李宏毅的机器学习视频进行了学习，其中学习了CNN的一个特殊的网络结构——spatial Transformer，学会了其怎么完成平移、缩放以及旋转的原理以及期间了解到了Interpolation（插值）算法，最后还了解了其应用场景。此外，继续对Pytorch进行了学习，重点学习了线性层，了解了其改变shape的作用，然后还了解了其他层，例如，归一化层、循环层等特定的网络结构。最后，做了一个小项目，把CIFAR-10的Model复现出来，并学会了使用Sequential。
【机器学习练习】糖尿病预测
Elfin_z的博客
08-23 425
构建随机森林模型选择特征时，注意选择具有一定波动性，且与待预测值的相关性高的。
【机器学习】实验设计之一次一因子方法（OFAT）、全因子设计方法（FFD）响应面方法（RSM）和插值方法以及如何选择控制因子的概念
m0_49243785的博客
08-24 757
在实际应用中，选择哪种实验设计方法取决于具体的问题和数据特性在机器学习中，全因子设计可以帮助研究者全面了解每个因子对模型性能的影响，并揭示因子之间的交互效应确定模型中的所有潜在影响因素，这些因素可以是连续的也可以是离散的在实际应用中，研究者需要根据问题的复杂性和计算资源来选择最合适的实验设计方法如果因子数量较少，全因子设计可能是一个合适的选择如果因子数量较多，研究者可能会考虑使用其他实验设计方法，如中心复合设计或Box-Behnken设计，以减少实验数量并揭示因子之间的交互效应。
李宏毅机器学习课程笔记：从深度学习到卷积神经网络
"李宏毅的机器学习课程笔记涵盖了从基础的回归分析、梯度上升算法，到分类问题、反向传播、卷积神经网络（CNN）、半监督学习、无监督学习以及线性模型等多个核心主题。这些内容构成了深度学习和机器学习的基础理论与...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值