李宏毅机器学习笔记：回归 ——梯度下降法 过拟合 正则化

最新推荐文章于 2024-01-04 00:03:47 发布
最新推荐文章于 2024-01-04 00:03:47 发布
阅读量249 收藏
点赞数
文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37858725/article/details/119790586
版权

李宏毅机器学习笔记：回归 ——梯度下降法 过拟合 正则化

源学习笔记链接: https://datawhalechina.github.io/leeml-notes/#/chapter3/chapter3.

Alt

学习笔记总结：

李宏毅机器学习课程第3节 回归

  • 以回归为脉络引出重要的梯度下降法 随机选择一个参数起始点，在损失函数 模型参数中去寻找模型的最优化参数，根据起始点的偏微分值从而决定下一个参数设置值，学习率的大小决定了寻找最优化参数的速度
  • 梯度下降法应用广泛，但受限于初始点的设置会有不同的局部最优解，但对线性回归模型不存在这方面的困扰
  • 解决模型过拟合的一个重要手段 是正则化，正则化可以使得模型更平滑，从而对测试集中非常规的输入值有更好的稳定性，而不会产生过大的预测误差。 设置正则化参数时不宜过大也不宜过小，需根据实际情况去选择最优的正则化参数
    在这里插入图片描述
麻麻在学习
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
梯度下降，过拟合，正则化之机器学习
ZJQ的博客
10-21 187
目录 补充梯度下降 ​ 补充损失函数，代价函数，目标函数定义 正则化 正则化的作用： 正则化图示 什么是过拟合 什么是机器学习 有监督学习（分类、回归） 无监督学习（聚类） 强化学习 线性回归 2.1 线性回归的表达式 逻辑回归 3.1 逻辑回归的损失函数 补充梯度下降 梯度下降：1.根据梯度（导数）的符号来判断最小值点x在哪; 2. 让函数值下降（变小）。 梯度就是导数（对于多维就是偏导数） 梯度下降作用：是找到函数的最小值所对应的自变量的值（曲线最低点对应x的值）.
李宏毅2020机器学习课程笔记（一）- 分类与回归
热门推荐
⚡
04-25 1万+
包含李宏毅机器学习视频P1-P16的课程梗概
机器学习（五）——梯度下降法，归一化，过拟合
qq_41386300的博客
08-09 1235
梯度下降法 上图中，我们的目的不是找cost，而是找最小值处的模型theta 梯度下降法步骤： 对于调整theta， theta在最低点左边的时候，斜率grad<0 ,所以theta_t+1会变大， theta在最低点右边的时候，斜率grad>0 ,所以theta_t+1会变小， 如果一定追求g=0，那样会使我们迭代特别多次，所以一般如果梯度（斜率）g< 0.15就停止了...
机器学习笔记 第二篇 （梯度下降法原理、过拟合、误差函数为什么用平方而非绝对值）
黄大仙
12-10 1594
首先需理解第一篇内容点击前往 梯度下降法原理 如何随机上篇中的W0，W1 （W） 对于上篇中的下图： w0调整 假设现在随机到的W（即w0，w1）在图中位置，很明显，如果我们想要使J（）尽可能的小（也就是我们的误差函数的值尽可能小），需要将w1往小调整，w0往大调整，那么具体调整多少？先看下图 该图为第一章图从某方向看的二维图，最下方是我们想要取到的w0的值，那么，很明显，在虚线的左边，J（）对w0的偏导数小于0，在虚线右边，J（）对w0的偏导数大于0 所以，在对w0偏导数小于0时，我们应该往大调整w
欠拟合和过拟合、局部梯度下降
killsmm0的博客
05-16 383
欠拟合：拟合目标函数的阶数不够，造成没有办法完全反映真实情况。 过拟合：拟合目标函数的阶数过高，拟合出的函数几乎通过了所有的点，但是没有实际意义。 局部梯度下降，根据要预测的h(x)，对x周边的training example的LOSS函数项sqar（h(x)-y) 加更高的权值,再做梯度下降。 权值通常取法于高斯分布：
梯度下降与过拟合：理解与应对
最新发布
禅与计算机程序设计艺术
01-04 418
1.背景介绍 梯度下降(Gradient Descent)和过拟合(Overfitting)是深度学习和机器学习中的两个重要概念。梯度下降是一种优化算法，用于最小化损失函数，而过拟合是一种模型在训练数据上表现良好，但在新数据上表现差的现象。在本文中，我们将详细介绍这两个概念的定义、核心概念、算法原理、实例代码和应对策略。 2.核心概念与联系 2.1 梯度下降(Gradient Descent...
机器学习 —— 李宏毅机器学习笔记（二）—— 回归问题
ProQianXiao的博客
03-06 602
回归问题 机器学习笔记的第二篇博客，来介绍机器学习中最基础的回归任务，上一篇博客中有提到回归任务和分类任务的差别在于，回归任务中模型的输出是一个具体的数值，而分类任务中模型的输出是某一类别。其实，许多问题我们都可以视为回归问题： ...
李宏毅机器学习笔课件
01-18
此外，还会介绍正则化，这是一种防止过拟合的常用手段，如L1和L2正则化。 神经网络部分，将涵盖深度学习的基本结构，包括多层感知器、卷积神经网络（CNN）和循环神经网络（RNN）。CNN在图像识别和处理中表现出色，...
李宏毅机器学习课程3~~~梯度下降法
jiandanjinxin的专栏
07-27 2687
梯度下降法描述 梯度下降法是为了找到最优的目标函数，寻找的过程就是沿着损失函数下降的方向来确定参数变化的方向。参数更新的过程就是一个不断迭代的过程，每次更新参数学到的函数都会使得误差损失越来越小，也就是说学习到的参数函数越来越逼近最优函数。 参数的更新是按照损失函数的等高线的方向进行的。 梯度下降是一阶导数，梯度下降是用平面来逼近局部。 牛顿法是二阶导数，牛顿法是用
【学习笔记】李宏毅2021春机器学习课程第二节：机器学习任务攻略
Harryline的博客
07-11 409
【学习笔记】李宏毅2021春机器学习课程第二节：机器学习任务攻略如何做的更好？Model biasOptimization IssueStart from shallower networksOverfittingCross ValidationMismatch 如何做的更好？ 如果在Kaggle上的结果不满意的话，第一件事情就是检查你的training data的loss。如果你发现你的模型在training data的loss很大，说明它在训练集上面也没有训练好，这边有两个可能的原因，第一个是mode
7.机器学习之正则化(李宏毅)
qq_39223444的博客
06-16 299
7.正则化（Regularization） 7.1 过拟合的问题（The problem of Overfitting） 我们已经学习了几种不同的学习算法，包括线性回归和逻辑回归，它们能够有效地解决许多问题，但是当将它们应用到某些特定的机器学习应用时，会遇到过拟合(over-fitting)的问题，可能会导致它们效果很差。接下来了解什么是过拟合，以及可以改善过拟合的一种技术：正则化。 欠拟合就是模型不能很好的适应我们的训练集，过拟合是模型过于强调训练数据，而在预测新数据时效果很差。 有过拟合问题，应该如何
第二节：解决过拟合与梯度下降优化
weixin_30911451的博客
03-21 1394
1、偏差与方差 偏差：预测值的期望与真实值之间的差距，偏差越大，越偏离真实数据集。 方差：预测值的变化范围，离散程度，方差越大，预测结果数据的分布越散。 获得更多的训练实例——解决高方差 增加正则化程度λ————解决高方差 减少特征数量————解决高方差 增加特征数量————解决高偏差 增加多项式特征————解决高偏差 减少正则化程度λ—————解决高偏差 ...
正则化与梯度下降
w1nd_的博客
01-12 1725
Day15正则化与梯度下降正则化图示求解梯度下降 正则化与梯度下降 正则化 图示 求解 梯度下降 L1L2正则化: https://blog.csdn.net/red_stone1/article/details/80755144.
李宏毅2020机器学习笔记2——回归：梯度下降算法、正则化
babychrislee3的博客
06-29 8064
一、回归应用广泛 二、引出梯度下降算法来求解minL （1）梯度下降厉害的地方在哪里？ 只要方程可微分，都可以拿来进行处理，来找比较好的参数和方程。 梯度的方向是变化率最大的方向。 （2）梯度下降法：只有一个参数时 总是为了让loss减少。 任取一点，求出来该点的导数为负，就增加w；反之减少w。 n ： learning rate 学习率 （决定步长） 可以看出来步长是变化的。 越接近min，导数值越小，步长越小。 梯度下降法：有两个参数时 【注意】w和b一定是同步更新的 梯度方向其实也是等高线的法
神经网络介绍：梯度下降和正则化
weixin_33755557的博客
05-21 718
一、梯度下降 梯度下降公式：$W^{[l]} = W^{[l]} - \alpha \text{ } dW^{[l]}$，$b^{[l]} = b^{[l]} - \alpha \text{ } db^{[l]}$，具体细节和代码实现参考文章神经网络介绍：算法基础 (Batch) Gradient Descent ### 伪代码 X = data_input Y = labels...
李宏毅机器学习笔记(二)——欠拟合与过拟合
Unique13的博客
07-12 588
文章目录一.误差的来源1.实例——手枪打靶2.打靶与回归的联系3.方差的来源4.偏差的来源5.欠拟合与过拟合的概念二.减少误差的策略 一.误差的来源   这里的误差就是指我们在测试集上的误差，而不是训练集上的损失值。 1.实例——手枪打靶   我们把每次的打靶看成是独立同分布的样本，中心为我们的目标。我们很容易可以看出，误差来源于两个部分：偏差(bias)和方差(variance)。其中偏差指的是样本的平均位置与中心的距离；而方差则是离散程度，我们可以看出要想有比较小的总误差，这两方面都要兼顾。 2.打靶
李宏毅《机器学习》丨2. Regression（回归）
AXYZdong的博客
06-15 704
Datawhale组队学习，李宏毅《机器学习》Task2. Regression（回归）。
算法实习准备之三：（优化方法）梯度下降/正则化(过拟合)/激活函数
for_graduation的博客
03-06 1236
算法实习准备之三机器学习算法复习（一）深度学习的优化深度学习优化的困难和挑战梯度爆炸梯度消失 机器学习算法复习（一） 深度学习的优化 深度学习优化的困难和挑战 梯度爆炸 梯度消失 ...
TensorFlow 深度学习框架（5）-- 神经网络优化算法（梯度下降、学习率设置、正则化、滑动平均模型）
ouprince
03-19 3014
（1）梯度下降模型 梯度下降算法主要用于优化单个参数的取值，而反向传播算法给出了一个高效的方式在所有的参数上使用梯度下降算法，从而使得神经网络模型在训练数据上的损失函数尽可能小。反向传播算法是训练神经网络的核心算法，它可以根据定义好的损失函数优化神经网络中参数的取值，从而使神经网络的模型在训练数据集上的损失函数达到一个较小值。 假设用θ表示神经网络中的参数，J(θ)表示在给定的参数取值下，训练...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值