李航《统计学习方法》第二版第一章（正则防止过拟合）

最新推荐文章于 2024-09-29 08:25:33 发布
最新推荐文章于 2024-09-29 08:25:33 发布
阅读量85 收藏
点赞数
分类专栏： 统计 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/so_kind/article/details/120940315
版权
本文探讨了L1正则化如何通过其拉普拉斯分布假设实现稀疏性，以及在目标函数优化中的特性。重点讲解了L1正则如何促使某些参数为0，以及在模型复杂度控制和特征选择中的应用。同时，介绍了如何将正则化转化为不等式约束问题，并利用KKT条件来求解。
摘要由CSDN通过智能技术生成

L1正则化有稀疏性，相当于进行特征选择；L2正则化

模型复杂度和参数向量有关，使某些参数为0

加了正则化项，变为结构风险最小化

要使W限制在一个范围内，变为不等式约束问题

 不等式约束问题，利用KKT条件

 加正则化项等价于带约束条件，向量被限制在范围内

 2、为什么L1正则具有稀疏性？可做特征选择

1）从解空间形状看

目标损失函数，等值线图；交点取最佳参数

坐标轴上的点代表某一轴为0，可使某些参数为0

L1正则更容易在顶点取得最优解

2）从贝叶斯最大后验概率估计角度

L1正则中假设参数分布满足拉普拉斯分布

L2正则假设参数分布满足正态分布

 

由于拉普拉斯分布取0的概率大，因此L1具有稀疏性

 

 

so_kind
关注
专栏目录
【李航-统计学习方法】1.5正则化与交叉验证
smile4548656的博客
05-22 373
1、正则化 模型选择典型方法是正则化。正则化是结构风险最小化策略的实现，是在经验风险上加一个正则化项或惩项。正则化项一般是模型复杂度的单调递增函数，模型越复杂，正则化项就越大。正则化的作用是选择经验风险与模型复杂度同时较小的模型。 （注：结构风险最小化和经验风险在1.3统计学习三要素一文中有详细说明，这里为了好理解，仅简单写出式子） 经验风险最小化： 结构风险： 根据定义给出正则化项的一般形式： 正则化项可以取多种形式。举个栗子： 在回归问题中，损失函数是平方损失，正则化项可以是参数向量的L1范数或L
深度学习（九）正则化惩罚项
热门推荐
QuinnHanz的博客
05-31 3万+
在机器学习特别是深度学习中，我们通过大量数据集希望训练得到精确、泛化能力强的模型，对于生活中的对象越简洁、抽象就越容易描述和分别，相反，对象越具体、复杂、明显就越不容易描述区分，描述区分的泛化能力就越不好。 比如，描述一个物体是“方的”，那我们会想到大概这个物体的投影应该是四条边，两两平行且垂直，描述此物体忽略了材质、质量、颜色等等的性状，描述的物体的多，相反，描述的内容...
李航——《统计学习方法》（一）
ccj211985的博客
11-09 5960
第1章 统计学习方法概论 1.统计学习 统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科。 也可以说统计学习就是计算机系统通过运用数据及统计方提高系统性能的机器学习。故统计学习也称为统计机器学习。 统计学习的对象是数据，数据分为由连续变量和离散变量表示的类型，其中同类数据是指具有某种共同性质的数据。在统计学习的过程中，以变量或者是变量组表示数据。 统计学习的方法是基于数据构建统计模型从而对数据...
李航《统计学习方法》第二版-第1章 统计学习及监督学习概论1.3-1.5 浅见
王伟王胖胖的博客
07-19 609
李航《统计学习方法》第二版-第一章 统计学习及监督学习概论1.4-1.5 浅见1.3 统计学习方法三要素模型策略算法1.4 模型评估与选择1.5 正则化和交叉验证正则化和范数交叉验证 1.3 统计学习方法三要素 简单的可以表示为： 方法=模型+策略+算法方法=模型+策略+算法方法=模型+策略+算法 模型 模型就是我们要学习的条件概率分布P(Y∣X)P(Y|X)P(Y∣X)或者是决策函数Y=f(X)...
电信保温杯笔记——《统计学习方法（第二版）——李航》第5章 决策树
sinat_39448069的博客
01-26 2085
《统计学习方法（第二版）——李航》第4章 朴素贝叶斯法 笔记论文介绍特点信息论基础熵概率与熵的关系定性定量条件熵信息增益信息增益比决策树的原理例子信息增益比的引入决策树的经典算法树的生成算法ID3 算法步骤例子C4.5 算法步骤树的剪枝算法原理步骤树的生成加剪枝算法CART 算法CART 生成步骤CART 剪枝本章概要相关视频相关的笔记相关代码pytorchtensorflowkeraspytorch API:tensorflow API 论文 《统计学习方法（第二版）——李航》 笔记 ID3 算法：《In
《统计学习方法：李航》笔记 从原理到实现（基于python）-- 第1章 统计学习方法概论
weixin_42046845的博客
01-22 1296
《统计学习方法：李航》笔记 从原理到实现（基于python）-- 第1章 统计学习方法概论
《李航 统计学习方法》学习笔记——第八章提升方法
eveiii的博客
05-21 800
提升方法8.1提升方法AdaBoost8.1.1提升方法的基本思路8.1.2AdaBoost算法8.1.3AdaBoost的例子8.2AdaBoost算法的训练误差分析 8.1提升方法AdaBoost 简单来讲，提升方法在分类问题中，通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，最终提高分类的性能。 8.1.1提升方法的基本思路 首先需要了解两个概念，强学习算法和弱学习算法。 强学习算法：存在一个多项式学习算法学习它且正确率高。 弱学习算法：存在一个多项式学习算法学习它但是正确率仅比
《统计学习方法》（李航）第二版第一章总结
NaLi的博客
05-21 1857
导读 第一章是对统计学习中的基本思想、基本概念、以及常见问题类型的介绍。其中涉及的一些特定技术不用深究。需要重点理解的内容是模型过拟合的含义、模型泛化能力两部分。另外需要通过习题熟悉极大似然估计和贝叶斯两个估计方法。 本章概要的5点内容 统计学习包括监督学习、无监督学习和强化学习。 统计学习方法三要素：模型、策略、算法。 监督学习可以概括如下：从给定有限的训练数据出发，假设数据是独立同分布的，而...
阅读笔记--统计学习方法 (第一版 李航)
HAH--M的博客
05-04 1645
第一章：统计学习方法概述 1.5 正则化和交叉验证 1.8 精确率 (P)(P)(P) / 召回率 (R)(R)(R) / F1值 举例子说明: 解释一： 假设一共有10篇文章，里面4篇是你要找的。根据你某个算法，你认为其中有5篇是你要找的，但是实际上在这5篇里面，只有3篇是真正你要找的。那么你的这个算法的precision是3/5=60%，也就是，你找的这5篇，有3篇是真正对的这个算法的r...
统计学习方法李航版本笔记1—5章.pdf
10-05
《统计学习方法》是李航博士的一本经典著作，涵盖了机器学习领域的重要理论与方法。这本书的前五章主要介绍了统计学习的基础概念、监督学习的基本框架以及几种重要的学习算法。以下是对这些章节内容的详细说明： 第...
李航《统计学习方法（第二版）》笔记：第一章——统计学习及监督学习概论（一）
Jelly's Blog
09-06 902
目录1. 统计学习概念2. 统计学习分类2.1 基本分类2.2 按模型分类2.3 按算法分类2.4 按技巧分类3. 统计学习方法三要素3.1 模型3.2 策略3.3 算法4. 模型评估与模型选择4.1 训练误差与测试误差4.2 过拟合与模型选择5. 正则化与交叉验证5.1 正则化5.2 交叉验证6. 泛化能力6.1 泛化误差6.2 泛化误差上界7. 生成模型与判别模型8. 监督学习应用8.1 分类问题8.2 标注问题8.3 回归问题 1. 统计学习概念 赫尔伯特·西蒙：“如果一个系统能够通过执行某个过程改进
机器学习（李航统计学习方法）
阿江江的博客
10-17 3460
。。
《统计学习方法：李航》笔记 从原理到实现（基于python）-- 第5章 决策树
weixin_42046845的博客
01-29 1401
《统计学习方法：李航》笔记 从原理到实现（基于python）-- 第5章 决策树
【机器学习导引】ch3-线性模型
09-26 1036
在数学中，对于函数 f(x1,…,xm)f(x_1, \ldots, x_m)f(x1​,…,xm​) 在点 a=(a1,…,am)a = (a_1, \ldots, a_m)a=(a1​,…,am​) 处的梯度被定义为：∇f(a)=(∂f∂x1(a),…,∂f∂xm(a)) \nabla f(a) = \left( \frac{\partial f}{\partial x_1}(a), \ldots, \frac{\partial f}{\partial x_m}(a) \right) ∇f(a)
机器学习和深度学习区别
最新发布
weixin_42462436的博客
09-29 167
【代码】机器学习和深度学习区别。
详解机器学习经典模型(原理及应用)——GBDT
学习与分享人工智能技术
09-26 1720
本文详细介绍了GBDT模型的概念、原理和应用，同时介绍了梯度下降和梯度提升的关系，可用于业务或面试参考。
关于最小二乘法
m0_62710548的博客
09-26 797
最小二乘法的核心思想简单而优雅：我们希望找到一条最佳的曲线，使其尽可能贴近所有的数据点。想象一下，当你在画布上描绘一条线，目标是让这条线与点的距离最小。数学上，这可以表示为：在这个公式中，yi​ 是你观察到的值，f(xi) 则是你预测的值。通过调整模型的参数，我们努力去缩小这个误差的平方和，直到找到最完美的曲线。
决策树算法在机器学习中的应用
hai40587的博客
09-25 940
决策树算法作为一种基本的分类与回归方法，在机器学习中具有广泛的应用。其直观性、易于理解和实现的特点使其成为数据挖掘和数据分析中的常用工具。然而，决策树算法也存在一些缺点，如容易过拟合、对噪声和缺失数据敏感等。因此，在实际应用中需要根据具体问题选择合适的算法和参数，以获得更好的性能。通过不断的研究和改进，决策树算法将在更多领域发挥重要作用，为机器学习和数据科学的发展贡献力量。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值