李宏毅机器学习笔记（5-8）

最新推荐文章于 2024-10-09 00:00:00 发布
最新推荐文章于 2024-10-09 00:00:00 发布
阅读量387 收藏
点赞数
文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_69646701/article/details/126430478
版权
本文记录了李宏毅机器学习课程中关于误差来源的分析，包括误差、偏差和方差的概念及其关系。讨论了模型选择的策略，以及梯度下降法的定义、优化方法和限制。重点在于理解偏差与方差之间的权衡以及如何通过交叉验证和特征缩放改进模型性能。
摘要由CSDN通过智能技术生成

记录学习李宏毅机器学习的过程，方便知识点的梳理

前言

参考资料：LeeML-Notes

李宏毅《机器学习/深度学习》2021课程（国语版本，已授权）_哔哩哔哩_bilibili

机器学习中的 Bias（偏差）、Error（误差）、Variance（方差）有什么区别和联系？ - 知乎

偏差(Bias)和方差(Variance)——机器学习中的模型选择 - SegmentFault 思否

记录学习李宏毅机器学习的过程，方便知识点的梳理。

一、误差从哪里来

1.1Error 的来源

平均误差随着模型复杂增加呈指数上升趋势，有两个来源：偏差和方差（bias and variance）

Error反映的是整个模型的准确度，Bias反映的是模型在样本上的输出与真实值之间的误差，即模型本身的

最低0.47元/天 解锁文章
zhangyvge_1
关注
李宏毅-机器学习-RNN-笔记
qq_41789315的博客
10-03 959
李宏毅-机器学习课程-笔记
2021李宏毅机器学习笔记--10 Semi-supervised learning
guoxinxin0605的博客
06-13 441
2021李宏毅机器学习笔记--10 Semi-supervised learning摘要一 、生成模型上的半监督学习二 、Low-density Separation非黑即白2.1 自学习2.2 熵正则化2.3 半监督SVM三 、 Smoothness Assumption平滑假设四 、Better Representation总结 摘要 半监督学习主要是利用少量的标注样本和大量的未标注样本进行训练和分类，让学习器不依赖外界交互，能自动的利用未标记样本来提升学习性能，并且有助于降低标注代价。半监督学习往往
如何用梯度校正法实现参数的无偏估计
weixin_40857506的博客
10-02 920
当估计值的数学期望等于参数真值时，参数估计就是无偏估计。当估计值是数据的线性函数时，参数估计就是线性估计。当估计值的均方差最小时，参数估计为一致最小均方误差估计。若线性估计又是一致最小均方误差估计，则称为最优线性无偏估计。如果无偏估计值的方差达到克拉默-尧不等式的下界,则称为有效估计值。若一致性 ，则称 为一致性估计值。在一定条件下，最小二乘估计是最优线性无偏估计，它的估计值是有效估计，而且是一致性估计。极大似然估计在一定条件下渐近有效，而且是一致的。 　　寻求最小二乘估计和极大似然估计的常用方法是将准则对
李宏毅机器学习笔记p5-p8：误差和梯度下降
weixin_51413726的博客
10-16 217
文章目录前言误差Error偏差Bias方差Variance梯度下降二级标题三级标题四级标题五级标题六级标题总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 误差Error 通过前文的学习，我们了解到当次数越高的时候，模型越复杂的时候，测试效果可能不是很好（出现过拟合现象） 这些误差Error主要来源于bias (偏差) 和 vari
李宏毅机器学习笔记-transformer
夏之微风的博客
09-23 577
transformer是什么呢？是一个seq2seq的model。具体应用如上图所示，输入和输出的序列长度不固定，由model自己决定。语音翻译指的是，直接输入一段语音信号，例如英文，输出的直接是翻译之后的中文。seq2seq如今已经是一个应用非常广泛的模型，可以应用于NLP的各种任务，如语义分析，语义分类，聊天机器人等。另外还有个值得说明的功能是做。。和是完全不一样的，一个是多分类，另一个是一个样本可以有多个标签。但是多标签的问题，可以用seq2seq模型来解决。
李宏毅机器学习笔记4 -- DNN训练
Zachary
04-03 321
李宏毅课程中关于 Tips of deep learning这部分讲的知识点比较多而且很细节。其中的dropout、ReLU等等很早就使用了，但是其中的细节却一直没有注意，这里总结一下课程中的知识，趁机巩固一下基础。 开篇 作者主要介绍了五部分，针对的是训练集表现不好即以测试集（验证集）表现不好（过拟合）两个问题。 训练集表现不好 当模型在训练集表现不好时，有可能是模型复杂度不够，但是在Deep Learning中这种情况并不多见，所以问题更多集中在激活函数、learning rate不合适等Networ
2021李宏毅机器学习笔记--23 Theory behind GAN
guoxinxin0605的博客
09-05 458
2021李宏毅机器学习笔记--23 Theory behind GAN摘要一、Maximum Likelihood Estimation(最大似然估计)二、MLE=Minimize KL Divergence（最小KL散度）三、Generator四、Discriminator五、D*和divergence的关系证明六、知识回顾:KL散度、JS散度和交叉熵七、G*的目标八、GD Algorithm for GAN九、In practice(实做中)十、Algorithm for GAN总结 摘要 本章节主
李宏毅机器学习笔记-----Self-Attention
m0_56250941的博客
07-29 330
Self-Attention
DW李宏毅机器学习笔记--Task02-回归
StarryPilgrim
08-18 401
文章目录前言一、回归定义二、模型步骤Step 1：模型假设 - 线性模型一元线性模型（单个特征）多元线性模型（多个特征）Step 2：模型评估 - 损失函数如何判断众多模型的好坏Step 3：最佳模型 - 梯度下降梯度下降推演最优模型的过程梯度下降算法在现实世界中面临的挑战w和b偏微分的计算方法如何验证训练好的模型的好坏总结 前言 这是我在Datawhale组队学习李宏毅机器学习的记录，既作为我学习过程中的一些记录，也供同好们一起交流研究，此后还会继续更新相关内容的博客。 一、回归定义 回归（Regres
2021李宏毅机器学习笔记--7.1 backpropagation
guoxinxin0605的博客
05-23 234
2021李宏毅机器学习笔记--7.1 backpropagation1 摘要2 步骤2.1 chain rule链式法则2.2 loss function2.2.1 forward pass2.2.2 backward passcase1 未知的两项在输出层case2 未知的两项并不在输出层3 小结及展望 1 摘要 上文讲到可以用Backpropagation的方法对网络中的所有参数（ w 和 b）进行更新，最终使total loss达到最低值，本文将介绍具体的步骤。 2 步骤 选定一组初始的参
2021李宏毅机器学习笔记--18Unsupervised Learning -- Neighbor Embedding
guoxinxin0605的博客
08-07 541
2021李宏毅机器学习笔记--18 Unsupervised Learning -- Neighbor Embedding 摘要一、Manifold Learning(流形学习)二、Locally Linear Embedding(LLE,局部线性嵌入)三、Laplacian Eigenmaps(拉普拉斯特征映射)3.1 简介二级目录二级目录四、总结二级目录三级目录 摘要 wijw_{ij}wij​ wiw^iwi 本节是进行非线性降维的一些算法。包括局部线性嵌入LLE、拉普拉斯特征映射和t分布随
李宏毅机器学习自用笔记------逻辑回归
PlutoLilian的博客
09-08 406
自用学习笔记，希望得到大佬指正
细说机器学习和深度学习
moandaylab
10-08 702
神经网络，也称人工神经网络。人工神经网络是一种运算模型（就是输入输出的映射），由大量的节点（或称神经元）之间相互联接构成。运算模型指的是：从输入到输出的一种映射。每个神经元里存储着若干权重（weight）、偏置（bias）和一个激活函数（activation）。输入乘上权重加上偏置，经过激活函数得到输出。激活函数用于添加一些非线性变换。神经网络通常包含一个输入层、若干隐藏层、一个输出层。输入层通常不用于计算神经网络的层数。
【机器学习-无监督学习】降维与主成分分析
Morse_Chen的博客
10-01 2427
本文介绍了数据降维的常用算法之一：PCA算法。数据降维是无监督学习的重要问题，在机器学习中有广泛的应用。利用特征分解进行PCA，动手实现了PCA算法，并使用sklearn实现PCA算法。
机器学习框架（含实例说明）
liyy614的博客
09-30 1631
选择合适的机器学习框架取决于具体的应用场景、开发需求和团队的技术栈。TensorFlow和PyTorch是目前最流行的深度学习框架，适用于大多数深度学习任务。Scikit-learn则适合传统机器学习和数据分析任务。其他框架如MXNet、Caffe、Theano和PaddlePaddle也各有特色，适用于特定的应用场景。
Machine Learning Specialization 学习笔记（5）
qq_41136689的博客
10-08 849
博客仅记录个人学习进度和一些查缺补漏。学习内容：BV1Bq421A74G。
计算机毕业设计Tensorflow交通标志识别检测 车流量预测 车速检测 自动驾驶 机器学习 深度学习 人工智能 PyTorch 大数据毕设
最新发布
全网粉丝100W+、全栈领域优质创作者、B站、github、CSDN等社区技术专家、专注于高端精品毕业项目源码实战
10-09 1249
计算机毕业设计Tensorflow交通标志识别检测 车流量预测 车速检测 自动驾驶 机器学习 深度学习 人工智能 PyTorch 大数据毕设
线性代数入门指南
m0_52796585的博客
10-08 972
在数学的广袤领域中，线性代数犹如一座神秘而又充满魅力的殿堂，等待着初学者去探索。当你踏入线性代数的大门，便开启了一段充满挑战与惊喜的知识之旅。线性代数是什么呢？简单来说，它是一门研究线性方程组、向量空间、线性变换等内容的数学学科。在现实生活中，线性代数有着广泛的应用。从计算机图形学、数据分析到物理学、工程学等领域，都能看到线性代数的身影。对于初学者来说，理解向量是线性代数的重要一步。向量可以看作是既有大小又有方向的量。它可以用一组有序的数来表示，比如在二维空间中，一个向量可以表示为 (x,y)。
线性回归损失函数的推导
qq_72175463的博客
10-08 639
此损失函数是均方误差损失的一种形式，广泛应用于线性回归等模型中。通过这种方式，我们既可以有效地表示损失，也可以在模型优化时更容易计算梯度。
李宏毅机器学习笔记：Adaptive Learning Rate算法详解与应用
本篇文章是关于李宏毅的机器学习学习笔记，主要聚焦于Adaptive Learning Rate在深度神经网络训练中的应用。Adaptive Learning Rate是一种策略，旨在解决固定学习率在训练过程中可能遇到的问题，如过早停止在非全局最...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值