机器学习“傻瓜式”理解（11）模型泛化

最新推荐文章于 2024-07-04 08:37:48 发布

崔振凯

最新推荐文章于 2024-07-04 08:37:48 发布

阅读量428

点赞数

分类专栏：机器学习文章标签：机器学习 python

本文链接：https://blog.csdn.net/qq_41979922/article/details/104773468

版权

本文介绍了模型泛化的重要性，特别是针对高方差问题的解决方案。详细讲解了岭回归和LASSO回归的原理，如何通过调整超参数阿尔法(α)来防止过拟合。岭回归通过正则化平衡损失函数，而LASSO回归则能进行特征选择。此外，还提到了弹性网络作为结合L1和L2正则化的策略。

摘要由CSDN通过智能技术生成

上一节我们了解到，我们在机器学习领域要解决的主要问题便是高方差的问题，主要的解决的办法便是模型泛化，其功能的概括来说便是通过限制超参数的大小，来解决过拟合或者模型含有巨大的方差误差这样的问题。

岭回归（Ridge Regression）

岭回归也是模型正则化一种方式，通过加入模型正则化的方式来更好的解决模型过拟合的线性的产生。
目标函数
根数数学的常识，我们拟合住的模型的上下抖动的幅度主要受参数的影响，因此以多项式回归为例，我们加入的模型正则化正好可以平衡这一部分。
加入的模型正则化为：
在这里图片描述
解释：上面的阿尔法其实便是我们引入的超参数，主要的作用就是用来平衡新的目标损失函数的大小。如果阿尔法等于0，那么就相当于我们没有引入模型正则化，但是如果阿尔法等于无穷，相应地，为了平衡损失函数的大小，我们需要进行使得我们的theta的平方尽可能的小才可以。
实例查看
模拟数据集进行查看：

import numpy as np
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split

np.random.seed(666)
x = np.random.uniform(-3,3,size = 100)
X = x.reshape(-1,1)
y = 0.5 * x + 3. + np.random.normal