机器学习 day07正则化

最新推荐文章于 2024-09-26 16:43:41 发布
最新推荐文章于 2024-09-26 16:43:41 发布
阅读量118 收藏
点赞数
分类专栏： 吴恩达机器学习 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44290742/article/details/118733587
版权
本文探讨了过拟合问题在线性回归和逻辑回归中的表现，以及如何通过正则化来解决这一问题。正则化有助于减少特征变量的影响，防止模型过于复杂，提高泛化能力。线性回归的正则化涉及梯度下降法和正规方程法，而逻辑回归的正则化同样可以通过调整成本函数实现。关键在于找到合适的正则化参数，平衡模型复杂度与泛化性能。
摘要由CSDN通过智能技术生成

01 过拟合问题

正则化可以减少过度拟合问题

1.1 线性回归过拟合问题

  • 欠拟合 | 刚好合适 | 过拟合

在这里插入图片描述

  • 过度拟合问题将会在变量过多的时候出现，这时训练出的假设能够很好的拟合训练集（所以代价函数实际上可能非常接近于0。或者恰好等于0），但是可能会得到图三这样的曲线，去拟合训练集，以至于它无法泛化到新的样本中。
  • 泛化是指一个假设模型应用到新样本的能力

1.2 逻辑回归过拟合问题

  • 欠拟合 | 刚好合适 | 过拟合

在这里插入图片描述

  • 如果我们有过多的特征变量而只有少量的训练集就会出现过拟合问题。
  • 有两种方法解决过拟合问题：
    1. 尽量减少特征变量的数量（模型选择算法会自动选择哪些变量保留，哪些舍弃）
    2. 正则化：减少量级或者参数的大小

02 代价函数

  • 正则化将多阶函数变成二阶函数（将参数尽可能减小），这些参数越小，我们得到的图像也就越圆滑越简单。

在这里插入图片描述

  • 一般来说我们只对参数1以及1之后的进行正则化
  • 在对代价函数进行修改，添加正则化项的目的是为了缩小参数的值。
  • 正则化参数是为了控制两个不同目标之间的取舍
  • 正则化参数如果过大，那么参数都会接近于0，这样就相当于把假设函数的全部项都忽略了，最终变成了欠拟合。

在这里插入图片描述

03 线性回归的正则化

  • 线性回归正则化的梯度下降法

在这里插入图片描述

  • 线性回归正则化的正规方程法

在这里插入图片描述

  • m<=n，说明矩阵是不可逆的，但是当正则参数>0，算出来的矩阵一定是可逆的。

在这里插入图片描述

04 Logistic 回归的正则化

  • Logistic 回归添加正则化项

在这里插入图片描述

  • Logistic 回归的正则化的梯度下降法

在这里插入图片描述

  • 如何在更高级的算法中使用正则化：定义一个costFunction函数，以theta作为输入。在fminunc函数中括号里写上@cosFunction。
  • fminunc的意思是函数在无约束条件下的最小值，fminunc函数会将costFunction函数最小化，

在这里插入图片描述

念～旭
关注
专栏目录
论文分享：「FED BN」使用LOCAL BATCH NORMALIZATION方法解决Non-iid问题
m0_69580723的博客
08-09 1649
提出了FedBN，给出了在联邦场景下使用BN来缓解feature shift的方法，并证明了其收敛性和有效性。FedBN的方法和通信、优化器方法是正交的，在实际使用中可以组合使用。FedBN在算法是对FedAvg只做了很小的改动，在实际中还可以与其他联邦strategy进行结合使用（Pysyft、TFF等已集成）。FedBN已经在医学健康，自动驾驶等领域被证明是很有效的策略...
吴恩达机器学习-第七章个人笔记
Aa20000113的博客
11-04 122
这里写目录标题7、1过度拟合问题7、2正则化 7、1过度拟合问题 ①linear regression拟合情况 1）第一个图像用一次函数来拟合数据，出现的情况是：欠拟合，高偏差。 2）第二个图像用二次函数来拟合数据，适度拟合。 3）第三个图像用四次函数来拟合数据，出现情况是：过度拟合，高方差。 过度拟合：有太多的参数以至于假设函数能够刚刚好地拟合训练集，但是这个假设函数并不适用于没有出现在训练集的样本所组成的样本集。 出现过度拟合原因：变量太多，没有足够的条件去约束它（训练集数量偏少）。 ②logisti
机器学习day9-正则化
凯的博客
08-04 225
如果选择的正则化参数λ过大，则会把所有的参数都最小化了，导致模型变成 h_θ (x)=θ_0，也就是上图中红色直线所示的情况，造成欠拟合。因为如果我们令 λ 的值很大的话，为了使Cost Function 尽可能的小，所有的 θ 的值（不包括θ_0）都会在一定程度上减小。虽然正则化的逻辑回归中的梯度下降和正则化的线性回归中的表达式看起来一样，但由于两者的h_θ (x)不同所以还是有很大差别。但若λ的值太大了，那么θ（不包括θ_0）都会趋近于0，这样我们所得到的只能是一条平行于x轴的直线。
机器学习 day30（正则化参数λ对模型的影响）
丿罗小黑的博客
07-23 594
λ对Jcv和Jtrain的影响 假设该模型为四阶多项式 当λ很大时，w会很小且接近0，而模型f(x)近似于一个常数，所以此时模型欠拟合，Jtrain和Jcv都很大 当λ很小时，模型几乎没有正则化，而四阶多项式的模型十分弯曲，所以此时模型过拟合，Jtrain很小，Jcv远大于Jtrain 当λ取中间值，模型刚好拟合良好、泛化良好，此时Jtrain很小、Jcv也很小 如何选择一个合适的λ 第一次，假设λ为0，最小化成本函数J后得到一组w、b，之后计算这组参数对应的Jcv 第二次，假设λ为0.0
机器学习 day13（正则化，线性回归的正则化，逻辑回归的正则化）
丿罗小黑的博客
05-13 363
正则化的思想 如果特征的参数值更小，那么对模型有影响的特征就越少，模型就越简单，因此就不太容易过拟合 如上图所示，成本函数中有W₃和W₄，且他们的系数很大，要想让该成本函数达到最小值，就得使W₃和W₄接近0，从而消除它们对成本函数的影响，最后我们就得出一个接近二次函数（左边图片）的成本函数 正则化的一般形式 通常，一个模型有很多特征，我们不知道哪个特征的参数重要，哪个特征的参数我们需要缩小或惩罚。所以，我们一般是缩小或惩罚所有特征的参数。
【学习day5】正则化+权重衰退
Sonia8的博客
01-10 956
权重衰减
吴恩达机器学习day4（正则化(Regularization)）
沉晨尘宸的博客
07-21 342
正则化一 过拟合问题二 代价函数三 正则化线性回归四 正则化的逻辑回归模型 一 过拟合问题 正则化(regularization)的技术，它可以改善或者减少过度拟合问题。 如果我们有非常多的特征，我们通过学习得到的假设可能能够非常好地适应训练集（代价函数可能几乎为0），但是可能会不能推广到新的数据。 下图是一个回归问题的例子： 第一个模型是一个线性模型，欠拟合，不能很好地适应我们的训练集；第三个模型是一个四次方的模型，过于强调拟合原始数据，而丢失了算法的本质：预测新数据。我们可以看出，若给出一个新的值
DAY2_L2正则化
LXY_CHINA的博客
11-01 1885
正则化_1 定义：旨在减小泛化误差而不是训练误差。通俗理解为凡是能够减小过拟合的方式都可以成为正则化。 权重衰减 原损失函数：J(w,b) 原权重更新：w = w - ŋ∇J(w) 使用正则化（L2正则化）：J1(w) = J(w) + (λ/2)||w|| 使用正则化后的权重更新：w = w - ŋ[∇J(w) + λw] = (1 - ŋλ)w -ŋ∇J(w) 即每一次更新权重都会将w的学习范围进行缩小 理解：例如一个一元高次函数中，通过对高次项权重的衰减，来使图像中的曲折更少，从而减小函数对数据的拟合
python百日百行代码挑战-day13，pytorch实现深度学习的正则化
若能了达阴阳理，天地都来一掌中
09-14 827
线性回归和一个失败的正则化案例
机器学习测试填空题与答案1
08-08
本题涉及了机器学习的基本概念、监督学习、无监督学习、模型拟合、正则化、Python编程基础等内容。 1. 监督学习是机器学习的主要类型之一，包括回归和分类任务。例如，线性回归用于预测连续数值，逻辑回归适用于二...
周期Day2-基于机器学习对Web日志的分析识别1
08-03
在本项目"周期Day2-基于机器学习对Web日志的分析识别1"中，我们将深入探讨如何利用机器学习技术来分析和识别Web日志中的潜在攻击。该项目分为四个主要部分：了解基础知识、日志预处理及攻击分类、机器学习模型搭建...
机器学习-Sklearn（第三版）Day3 数据预处理（数据标准化&归一化&正则化）
weixin_43902376的博客
12-20 1946
对于StandardScaler和MinMaxScaler来说，空值NaN会被当做是缺失值，在fit的时候忽略，在transform的时候保持缺失NaN的状态显示。并且，尽管去量纲化过程不是具体的算法，但在fit接口中，依然只允许导入至少二维数组，一维数组导入会报错。通常来说，我们输入的X会是我们的特征矩阵，现实案例中特征矩阵不太可能是一维所以不会存在这个问题。（通常来说我们现实输入的特征矩阵都是一维以上的数据）
偏差与方差以及正则化
qq_43596996的博客
04-05 1280
偏差 偏差是衡量模型预测值与实际值的偏离程度，例如某模型的准确度为96%，则说明是低偏差；反之，如果准确度只有70%，则说明是高偏差 方差 方差描述的是训练数据在不同迭代阶段的训练模型中，预测值的变化波动情况（或称之为离散情况）。从数学角度看，可以理解为每个预测值与预测均值差的平方和的再求平均数。 通常在模型训练中，初始阶段模型复杂度不高，为低方差；随着训练量加大，模型逐步拟合训练数据，复杂度开始...
Machine Learning Specialization 学习笔记（3）
qq_41136689的博客
09-20 908
博客仅记录个人学习进度和一些查缺补漏。学习内容：BV1Bq421A74G感受野（Receptive Field）是一个神经元在输入图像上“看到”或响应的区域。更简单地说，它指的是输出层的一个特定神经元对应于输入图像的哪些位置。从基础特征到复杂特征的逐层推进源自网络各层对信息逐渐复杂和综合的处理方式。感受野是帮助理解这一过程的一个关键概念，它直观描述了每个神经元在输入图像中负责的具体区域。从小感受野到大感受野，使得神经网络能够逐步从细节到整体进行信息处理和特征提取。
机器学习【教育领域及其平台搭建】
最新发布
qq_201729558
09-26 709
本文主要讲解机器学习教育领域及其平台搭建
python 实现area under curve曲线下面积算法
luthane的博客
09-23 1184
Area Under Curve”（AUC）曲线下面积算法主要用于衡量二元分类模型的性能，特别是在机器学习和统计中。AUC 主要与 ROC（Receiver Operating Characteristic）曲线相关联，ROC 曲线是一种图形化方法，用于展示在不同分类阈值下真正例率（TPR，也称为灵敏度或召回率）与假正例率（FPR）之间的关系。AUC 则是 ROC 曲线下的面积，用于量化分类器的性能。AUC 的计算方法AUC 的计算方法有几种，但核心思想都是基于 ROC 曲线上的点。
机器学习笔记（一）初识机器学习
weixin_53333436的博客
09-20 1298
机器学习是一门多学科交叉专业，涵盖概率论知识，统计学知识，近似理论知识和复杂算法知识，使用计算机作为工具并致力于真实实时的模拟人类学习方式，并将现有内容进行知识结构划分来有效提高学习效率。机器学习有下面几种定义：（1）机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能。（2）机器学习是对能通过经验自动改进的计算机算法的研究。（3）机器学习是用数据或以往的经验，以此优化计算机程序的性能标准。简要概念：让机器具备找一个函式的能力。
一起对话式学习-机器学习03——模型评估与模型选择
weixin_73074505的博客
09-20 543
针对这个问题，实际求解的过程是怎样的？首先确定模型项数（基本形式）后，列出损失函数使用测试数据利用最小二乘法（因为设定未知参数幂次为1，所以是线性问题用最小二乘法）得出一组未知参数解，最后计算一下其训练误差。就这样对于每个项数/复杂度的模型皆如此得出下图：
机器学习笔记：正则化线性回归与斯坦福课程概览
学习正则化线性回归时，有两种主要的优化算法： 1. **梯度下降法**：通过迭代更新参数 \( \theta \)，使其朝着减小代价函数的方向移动。在正则化的情况下，梯度下降的更新规则会包含正则化项的梯度。 2. **正规方程*...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值