四十四、【人工智能】【机器学习】- Kernel Ridge Regression（KRR）

于 2024-08-29 09:45:40 发布
阅读量1k 收藏 10
点赞数 25
分类专栏： 人工智能 文章标签： 人工智能 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xgq8217/article/details/141659586
版权

 

系列文章目录

第一章 【机器学习】初识机器学习

第二章 【机器学习】【监督学习】- 逻辑回归算法 (Logistic Regression)

第三章 【机器学习】【监督学习】- 支持向量机 (SVM)

第四章【机器学习】【监督学习】- K-近邻算法 (K-NN)

第五章【机器学习】【监督学习】- 决策树 (Decision Trees)

第六章【机器学习】【监督学习】- 梯度提升机 (Gradient Boosting Machine, GBM)

第七章 【机器学习】【监督学习】-神经网络 (Neural Networks)

第八章【机器学习】【监督学习】-卷积神经网络 (CNN)

第九章【机器学习】【监督学习】-循环神经网络 (RNN)

第十章【机器学习】【监督学习】-线性回归

第十一章【机器学习】【监督学习】-局部加权线性回归 (Locally Weighted Linear Regression, LWLR)

第十二章【机器学习】【监督学习】- 岭回归 (Ridge Regression)

十三、【机器学习】【监督学习】- Lasso回归 (Least Absolute Shrinkage and Selection Operator)

十四、【机器学习】【监督学习】- 弹性网回归 (Elastic Net Regression)

十五、【机器学习】【监督学习】- 神经网络回归 

十六、【机器学习】【监督学习】- 支持向量回归 (SVR)

十七、【机器学习】【非监督学习】- K-均值 (K-Means) 

十八、【机器学习】【非监督学习】- DBSCAN (Density-Based Spatial Clustering of Applications with Noise)十九、【机器学习】【非监督学习】- 层次聚类 (Hierarchical Clustering)二十、【机器学习】【非监督学习】- 均值漂移 (Mean Shift)

二十一、【机器学习】【非监督学习】- 谱聚类 (Spectral Clustering)​​ 

目录

系列文章目录

一、基本定义

（一）、监督学习

（二）、监督学习的基本流程

（三）、监督学习分类算法（Classification）

二、 Kernel Ridge Regression

（一）、定义

（二）、基本概念

（三）、训练过程

（四）、特点

（五）、适用场景

（六）、扩展

三、总结

四、相关书籍介绍

一、基本定义

（一）、监督学习

        监督学习（Supervised Learning）是机器学习中的一种主要方法，其核心思想是通过已知的输入-输出对（即带有标签的数据集）来训练模型，从而使模型能够泛化到未见的新数据上，做出正确的预测或分类。在监督学习过程中，算法“学习”的依据是这些已标记的例子，目标是找到输入特征与预期输出之间的映射关系。

（二）、监督学习的基本流程

        数据收集：获取包含输入特征和对应正确输出标签的训练数据集。
        数据预处理：清洗数据，处理缺失值，特征选择与转换，标准化或归一化数据等，以便于模型学习。
        模型选择：选择合适的算法，如决策树、支持向量机、神经网络等。
        训练：使用训练数据集调整模型参数，最小化预测输出与实际标签之间的差距（损失函数）。
        验证与调优：使用验证集评估模型性能，调整超参数以优化模型。
        测试：最后使用独立的测试集评估模型的泛化能力，确保模型不仅在训练数据上表现良好，也能在未见过的新数据上做出准确预测。

（三）、监督学习分类算法（Classification）

        定义：分类任务的目标是学习一个模型，该模型能够将输入数据分配到预定义的几个类别中的一个。这是一个监督学习问题，需要有一组已经标记好类别的训练数据，模型会根据这些数据学习如何区分不同类别。
        例子：垃圾邮件检测（垃圾邮件 vs. 非垃圾邮件）、图像识别（猫 vs. 狗）。

二、 Kernel Ridge Regression

（一）、定义

Kernel Ridge Regression（KRR）是一种监督学习方法，用于回归问题。它结合了核方法和岭回归的优点，通过在特征空间中使用内积运算来解决非线性回归问题。KRR的目标是找到一个函数，该函数能够最小化预测值与实际目标值之间的平方误差，并加入正则化项以防止过拟合。

（二）、基本概念

  • Ridge Regression: 这是一种线性回归模型，其中加入了L2正则化项。正则化项有助于减少模型参数的复杂度，从而提高模型的泛化能力。
  • Kernel Trick: 在高维或无限维特征空间中直接计算内积而不是显式地计算特征映射，这种方法可以有效地处理非线性关系的数据。
  • Reproducing Kernel Hilbert Space (RKHS): 这是一个希尔伯特空间，在这个空间中，每个函数都与其评估算子相对应，即可以通过内积运算直接得到函数在某一点的值。KRR就是在这样的空间中进行的。

（三）、训练过程

  1. 数据准备:
    • 收集训练数据集，其中 xi​ 是输入特征向量，yi​ 是对应的输出值。
  2. 选择核函数:
    • 选取合适的核函数 ，这里 �ϕ 表示从原始特征空间到高维特征空间的映射。
  3. 构建优化问题:
    • 构建一个包含损失函数和正则化项的优化问题：

    • 其中 H 是由所选核函数定义的RKHS，λ>0 是正则化参数。
  4. 求解模型参数:
    • 利用核技巧，可以证明最优解 ，其中 αi​ 是模型系数。
    • 通过解下面的线性系统找到 α：

    • 其中 K 是核矩阵，其元素为 ，I是单位矩阵，y是目标值向量。

（四）、特点

  • 非线性处理能力：能够处理非线性关系，通过核函数将数据映射到高维空间。
  • 正则化：通过正则化参数 λ 控制模型复杂度，避免过拟合。
  • 解析解：对于给定的训练数据和核函数，KRR 通常具有解析解，使得求解过程较为简单且快速。
  • 泛化性能：通常具有较好的泛化能力，尤其是在小样本情况下。

（五）、适用场景

  • 当数据具有复杂的非线性结构时。
  • 当样本数量不是特别大时（因为需要计算核矩阵，计算量随样本数增加而增加）。
  • 当需要较好的解释性和可控性时。

（六）、扩展

  • 多任务学习：可以扩展到多任务学习框架，同时学习多个相关的回归任务。
  • 在线学习：虽然传统的 KRR 需要一次性加载所有数据，但也可以通过近似方法实现在线学习。
  • 核选择：可以通过交叉验证等技术来选择最优的核函数。
  • 稀疏近似：为了减少计算复杂度，可以使用核近似方法（如Nyström方法或随机傅立叶特征）来构造稀疏的核矩阵。

三、总结

Kernel Ridge Regression (KRR) 是一种有效的回归方法，它利用核技巧和正则化来处理非线性数据并防止过拟合。KRR 通常具有解析解，这使得模型易于训练，并且由于其正则化特性，它在小样本集上表现良好。KRR 适用于处理具有复杂非线性模式的数据，并且可以通过各种扩展方法进一步增强其功能。

 

四、相关书籍介绍

《数据挖掘导论》

适用读者

  • 初学者：对数据挖掘感兴趣，希望了解基本概念和技术的新手。
  • 学生：计算机科学、统计学、商业智能等相关专业的本科生或研究生。
  • 研究人员：需要使用数据挖掘技术进行学术研究的科研人员。
  • 专业人士：数据分析师、数据科学家、业务分析师等希望提升技能的专业人士。
  • 管理者：希望了解如何利用数据驱动决策的企业高管和技术经理。

书籍下载链接：

链接：https://pan.baidu.com/s/1kNzhiII-8i0wsVrKYe3sIA?pwd=iesy 
提取码：iesy

暴躁的大熊
关注
专栏目录
1.3. Kernel ridge regression（内核岭回归）
matrix_studio的博客
11-17 2601
1.3. Kernel ridge regression 一、简介 Kernel ridge regression (KRR) （内核岭回归） 对常规岭回归 采用了 “核方法”，因此可以拟合非线性的函数。对于每个非线性的核，它对应了原始空间里的一个非线性的函数。 二、“核方法”简介 参考西瓜书，我们认为，在原始空间里线性函数无法拟合的关系也许 能在高维空间里的线性关系拟合 （这里的说法并不严谨，但意思没错） 按照我这种常人的想法，为了能成功调用线性算法，我会对数据进行“升维”。但是显然，这种“升维”并不现
【机器学习基础】支持向量回归
热门推荐
Jason Ding的专栏
05-03 2万+
引言这一小节介绍一下支持向量回归，我们在之前介绍的核逻辑回归使用表示定理(Representer Theorem)，将逻辑回归编程Kernel的形式，这一节我们沿着这个思路出发，看看如何将回归问题和Kernel的形式结合起来。Kernel Ridge Regression上次介绍的表示定理告诉我们，如果我们要处理的是有L2的正则项的线性模型，其最优解是数据zn的线性组合。我们可以将这样的线性模型变成
Kernel ridge regression
10-20 340
回顾一下岭回归，岭回归的目的是学习得到特征和因变量之间的映射关系，由于特征可能很高维，所以需要正则化 岭回归的目标函数是 ∑i=1n∥y−Xβ∥2+λβTβ∑i=1n∥y−Xβ∥2+λβTβ 由于数据可能是非线性的，单纯的线性回归效果可能不是很好，因此可以把数据映射到一个核空间，使得数据在这个核空间里面线性可分。 设核函数为Φi=Φ(xi)Φi=Φ(xi)，Φi
Kernel Ridge Regression
weixin_34221276的博客
05-25 195
回顾一下岭回归，岭回归的目的是学习得到特征和因变量之间的映射关系，由于特征可能很高维，所以需要正则化 岭回归的目标函数是 $$ \sum_{i=1}^n \left\|y-X\beta\right\|^2+\lambda\beta^T\beta $$ 由于数据可能是非线性的，单纯的线性回归效果可能不是很好，因此可以把数据映射到一个核空间，使得数据在这个核空间里面线性可分。 设核函数为$\P...
sklearn实现核岭回归(Kernel ridge regression)
CSDN 精品推荐
01-11 2465
核岭回归（Kernel Ridge Regression，KRR）是一种结合了岭回归（Ridge Regression）和核技巧的回归方法。它主要用于解决非线性问题，同时对数据进行正则化以防止过拟合。
Kernel Ridge Regression：使用各种 Kernel 的 Kernel Ridge Regression-matlab开发
05-29
参考 6.2.2 Kernel Ridge Regression, An Introduction to Support Vector Machines and other Kernel-based Learning Methods, Nello Cristianini 和 John Shawe-Taylor 参考 7.3.2 Kernel Methods for Pattern Analysis, John Shawe-Taylor University of Southampton, Nello Cristianini 加州大学戴维斯分校核岭回归 (KRR) 将岭回归（线性最小二乘与 l2 范数正则化）与核技巧相结合。 因此，它学习了由相应内核和数据引起的空间中的线性函数。 对于非线性内核，这对应于原始空间中的非线性函数。 Kernel Ridge 学习的模型形式与支持向量回归（SVR
【机器学习】岭回归（Kernel Ridge Regression）附python代码
you_just_look的博客
06-04 7408
概述 岭回归，又叫吉洪诺夫正则化，是由Hoerl和Kennard于1970年提出的是一种专用于共线性数据分析的有偏估计回归法。岭回归实际上是一种改良的最小二乘估计法，具有L2正则化的线性最小二乘法。回归算法的，本质就是为了解决一个线性方程，而标准估计方法是普通的最小二乘法的线性回归。 岭回归 线性回归模型的目标函数是 f(x,y)=∑i=1m(yi−xiTw)2f(x, y) = \sum_{i=1}^{m}(y_{i}-x_{i}^{T}w)^{2}f(x,y)=∑i=1m​(yi​−xiT​w)2 .
Kernel Ridge Regression理论与R语言实践
一个不愿透露姓名的博客
07-19 686
Kernel Ridge Regression（KRR）是再生核希尔伯特空间（reproducing kernel Hilbert space，RKHS）在机器学习中的一个经典应用，上一篇介绍了RKHS，这一篇我们以KRR为例介绍RKHS在机器学习中的应用。
Kernel ridge regression forgeneral noise model with its application
02-08
核岭回归（Kernel Ridge Regression, KRR）是一种用于非线性回归分析的机器学习方法。它通过在特征空间上应用岭回归算法，借助核技巧（kernel trick）可以处理线性不可分的数据。在这里提到的“general noise model...
python-机器学习-预测房价问题 House Price Advanced Regression Techniques
hello.尘心
08-09 3267
购房者描述他们的梦想房屋，预测最终价格。问题转换为回归问题，评价标准时RMSE，从MSSubClass，MSZoning，LotFrontage等特征提取新的特征。考虑到评价指标是RMSE，本质是一个回归问题，模型融合时候可以使用多个回归模型进行stacker。采用了数据清洗、特征工程、建模和高级回归技术，实现了对数据进行分析，分析数据之间的联系，数据的分布，数据的类型等，最终实现了堆叠回归预测房价，其主要功能包括预测销售价格并练习特征工程，RF和梯度提升，特点是堆叠回归，预测值与真实值误差小。
AI学习指南数学工具篇--核方法在特征空间映射中的应用之核岭回归（Kernel Ridge Regression）
最新发布
俞兆鹏的博客
05-23 1148
通过本篇博客的介绍，我们了解了核岭回归的原理、实践示例以及其在实际应用中的意义。核岭回归作为一种强大的非线性建模工具，对于处理实际中的复杂数据具有重要的意义。希望本篇博客能够对读者对核岭回归有所帮助，也希望读者能够深入学习和探索核方法在机器学习中的更多应用。
Ridge regression
燃烧吧！我的小宇宙！
07-11 972
参考文献1.Hoerl A E, Kennard R W. Ridge regression: Biased estimation for nonorthogonal problems[J]. Technometrics, 1970, 12(1): 55-67.
Kernel Ridge Regression 详解过程
Yana_Zeng的博客
01-26 2万+
Kernel Ridge Regression(KRR，核脊回归) 是Ridge Regression(RR，脊回归)的kernel版本，与Support Vector Regression(SVR，支持向量回归)类似。所以，在这里，我们先大致了解RR的来源，由此引入KRR，再来了解KRR与RR、KRR与SVR等之间的关系，最后再详细推导KRR的整个过程。   Why RR? 在线性回归的过...
机器学习技法 笔记五 Kernel Logistic Regression
Jige的菜鸟进化史~
03-06 2900
这一节我们把以前学过的logistics 和 kernel合在一起 在上一节中，我们讲了soft-margin，推出的结论如下图 图中的ζ其实就是一个点违反的距离，就是1-y(wz+b) 其实我们可以很容易想到，对于图中的点，如果违反了，那么ζ是1-y(wz+b)，而对于没有违反的点，显然就是0， 所以其实可以写成这样子 其实这个形式是不是很熟悉？ 没错
核岭回归 (Kernel Ridge Regression) 以及sklearn中sklearn.kernel_ridge.KernelRidge用法
qq_38032064的博客
03-12 1万+
本文核岭回归原理部分总结自《数据挖掘——使用机器学习工具与技术》（原书第四版）一书7.2.4节。 核岭回归(Kernel Ridge Regression) 线性回归 对于普通的线性回归，我们在训练的时候是最小化平方误差损失函数： ∑i=1n(yi−Wxi⃗)2\sum_{i=1}^n (y_i-W\vec {x_i})^2i=1∑n​(yi​−Wxi​​)2 其中W为参数矩阵。接下来我们要依次为...
【天池新人赛-工业蒸汽量预测】7.核岭回归KernelRidge
数据分析成长之路
04-11 657
有了岭回归，为什么还要引入使用核函数的岭回归呢？ 原因在于，岭回归只适用于线性数据。 但是数据可能是非线性的，单纯地假设真实数据服从线性关系，并用线性模型来回归真实的非线性数据，效果想必不会好。 引入kernel还能有一个好处，就是：引入kernel的RR（Ridge Regression），也就是KRR（Kernel Ridge Regression），能够处理非线性数据，即，将数据映射到某一...
核岭回归
u200710的博客
07-09 4125
比较SVR和KRR的优劣
sklearn浅析（六）——Kernel Ridge Regression
起风之后，只剩沙丘
07-24 1万+
Kernel Ridge Regression即使用核技巧的岭回归（L2正则线性回归），它的学习形式和SVR（support vector regression）相同，但是两者的损失函数不同：KRR使用的L2正则均方误差；SVR使用的是待L2正则的ϵ\epsilon-insensitive loss：max(0,|y−hθ(x)|−ϵ)max(0, \vert y-h_\theta(x)\vert-
kernel ridge regression
06-28
### 回答1： Kernel Ridge Regression是一种非参数回归方法，它通过将数据映射到高维空间中，利用核函数对数据进行非线性变换，从而实现对非线性关系的建模。与传统的岭回归方法相比，Kernel Ridge Regression可以更好地处理非线性问题，并且具有更好的泛化能力。它在机器学习、模式识别、数据挖掘等领域中得到了广泛的应用。 ### 回答2： Kernel Ridge Regression(KRR)是一种解决回归问题的机器学习算法。它是Ridge Regression在核技巧上的扩展，使用核函数对特征进行转换，将数据从低维度非线性映射到高维度甚至是无限维度，从而实现非线性回归。 KRR的目标是最小化带有L2正则化的平方误差，其中正则化参数是可以调整的： \begin{aligned} \min_{f\in H} \ \frac{1}{n} \sum_{i=1}^{n} (y_i - f(x_i))^2 + \lambda \lVert f \rVert_{\mathcal H}^2 \\ \end{aligned} 其中，y是训练样本的target，f是模型的输出，x是训练样本的特征向量，H是希尔伯特空间，λ是正则化参数。 核函数是KRR的核心，在特征空间中定义距离，在计算数据点之间的内积时起到了重要的作用。常用的核函数有Radial-Basis Function(RBF)和Sigmoid核函数等，它们可以定义在不同的空间，从而实现对不同类型数据的适配。 应用KRR时需要进行模型的训练和预测。在训练时，需要选择合适的核函数和正则化参数，通过交叉验证等方式进行调参。在预测时，需要使用训练时得到的模型对测试数据进行预测，得到回归结果。 KRR具有许多优点，包括适用于非线性回归问题、可解释性好、容易调整参数等。但也存在一些缺点，如容易出现过拟合、计算量大等。此外，KRR还可以与其他机器学习算法（如支持向量回归、神经网络等）相结合，实现更加复杂的回归任务。 ### 回答3： Kernel Ridge Regression（KRR）是一种非线性回归技术，是在传统线性回归之上的扩展。其主要思想是将输入特征映射到高维空间，在此空间内进行线性回归，最后通过反映射回原始空间，得到非线性回归的结果。 在KRR中，使用的是核函数来把低维特征映射到高维空间。常用的核函数有径向基函数（RBF）、多项式函数和Sigmoid函数等。KRR的损失函数由两部分组成：第一部分是平方误差，即模型的预测值与真实值之间差异的平方，第二部分是系数的平方和。其本质是一种正则化方法，通过引入系数平方和来防止过拟合的发生。 在训练KRR模型时，需要确定核函数的类型和参数。核函数的类型可以通过交叉验证来确定，而参数则需要通过优化算法求解。最常用的求解方法是基于梯度下降的迭代算法。KRR还可以通过岭回归的思想来进一步改进，KRR中的正则化系数被称为核参数，可以通过交叉验证来选择最优的核参数。 KRR在许多领域都有广泛的应用，包括金融预测、文本分类、图像识别等。它能够解决许多与线性回归相关的问题，并能够通过改变核函数的类型和参数来适应特定的数据集。此外，KRR还可以通过优化算法的改进，如随机梯度下降等，来提高模型的训练速度和性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值