关闭

【Scikit-Learn 中文文档】内核岭回归 - 监督学习 - 用户指南 | ApacheCN

标签: Scikit-Learn 中文文档Sklearn 中文文档内核岭回归
136人阅读 评论(0) 收藏 举报
分类:

中文文档: http://sklearn.apachecn.org/cn/0.19.0/tutorial/basic/tutorial.html

英文文档: http://sklearn.apachecn.org/en/0.19.0/tutorial/basic/tutorial.html

官方文档: http://scikit-learn.org/0.19/

GitHub: https://github.com/apachecn/scikit-learn-doc-zh(觉得不错麻烦给个 Star,我们一直在努力)

贡献者: https://github.com/apachecn/scikit-learn-doc-zh#贡献者

关于我们: http://www.apachecn.org/organization/209.html




1.3. 内核岭回归

Kernel ridge regression (KRR) (内核岭回归)[M2012]_ 由 使用内核方法的 :ref:`ridge_regression`(岭回归)(使用 l2 正则化的最小二乘法)所组成。因此,它所学习到的在空间中不同的线性函数是由不同的内核和数据所导致的。对于非线性的内核,它与原始空间中的非线性函数相对应。

由 KernelRidge 学习的模型的形式与支持向量回归( SVR ) 是一样的。但是他们使用不同的损失函数:内核岭回归(KRR)使用 squared error loss (平方误差损失函数)而 support vector regression (支持向量回归)(SVR)使用 \epsilon-insensitive loss ( ε-不敏感损失 ),两者都使用 l2 regularization (l2 正则化)。与 SVR 相反,拟合 KernelRidge 可以以 closed-form (封闭形式)完成,对于中型数据集通常更快。另一方面,学习的模型是非稀疏的,因此比 SVR 慢, 在预测时间,SVR 学习了:math:epsilon > 0 的稀疏模型。

下图比较了人造数据集上的 KernelRidge 和 SVR 的区别,它由一个正弦目标函数和每五个数据点产生一个强噪声组成。图中分别绘制了由 KernelRidge 和 SVR 学习到的回归曲线。两者都使用网格搜索优化了 RBF 内核的 complexity/regularization (复杂性/正则化)和 bandwidth (带宽)。它们的 learned functions (学习函数)非常相似;但是,拟合 KernelRidge 大约比拟合 SVR 快七倍(都使用 grid-search ( 网格搜索 ) )。然而,由于 SVR 只学习了一个稀疏模型,所以 SVR 预测 10 万个目标值比使用 KernelRidge 快三倍以上。SVR 只使用了百分之三十的数据点做为支撑向量。

../_images/sphx_glr_plot_kernel_ridge_regression_0011.png

下图显示不同大小训练集的 KernelRidge 和 SVR 的 fitting (拟合)和 prediction (预测)时间。 对于中型训练集(小于 1000 个样本),拟合 KernelRidge 比 SVR 快; 然而,对于更大的训练集 SVR 通常更好。 关于预测时间,由于学习的稀疏解,SVR 对于所有不同大小的训练集都比 KernelRidge 快。 注意,稀疏度和预测时间取决于 SVR 的参数 \epsilon 和 C ; \epsilon = 0 将对应于密集模型。

../_images/sphx_glr_plot_kernel_ridge_regression_0021.png

参考:

[M2012] “Machine Learning: A Probabilistic Perspective” Murphy, K. P. - chapter 14.4.3, pp. 492-493, The MIT Press, 2012




中文文档: http://sklearn.apachecn.org/cn/0.19.0/tutorial/basic/tutorial.html

英文文档: http://sklearn.apachecn.org/en/0.19.0/tutorial/basic/tutorial.html

官方文档: http://scikit-learn.org/0.19/

GitHub: https://github.com/apachecn/scikit-learn-doc-zh(觉得不错麻烦给个 Star,我们一直在努力)

贡献者: https://github.com/apachecn/scikit-learn-doc-zh#贡献者

关于我们: http://www.apachecn.org/organization/209.html

有兴趣的大佬们也可以和我们一起来维护,持续更新中 。。。

机器学习交流群: 629470233


3
0
查看评论

scikit-learn 1.3. Kernel ridge regression

核岭回归是结合岭回归(线性最小二乘L2范数正则化)与内核的技巧。因此,它在各自的内核和数据中学习空间中的线性函数。对于非线性核,这对应于原始空间中的非线性函数。 学习KernelRidge模式的形成是支持向量回归(SVR)相同。然而,使用不同的损失函数:KRR采用平方误差损失而支持向量回归...
  • u010016927
  • u010016927
  • 2017-07-17 17:19
  • 462

核岭回归 Kernel Ridge Regression

转自:http://www.bubuko.com/infodetail-781832.html Kernel Ridge Regression 上次介绍的表示定理告诉我们,如果我们要处理的是有L2的正则项的线性模型,其最优解是数据zn的线性组合。我们可以将这样的线性模型变成Kernel的...
  • u010016927
  • u010016927
  • 2017-07-17 17:17
  • 1861

SparkML之回归(二)岭回归和Lasso阐述及OLS,梯度下降比较

岭回归(RidgeRegression)它的上一级称之为Tikhonov regularization,是以Andrey Tikhonov命名的。 Lasso(least absolute shrinkage and selection operator)。两者都经常用于病态问题的正规化。 在前面部...
  • legotime
  • legotime
  • 2016-07-06 07:38
  • 2506

【Scikit-Learn 中文文档】内核岭回归 - 监督学习 - 用户指南 |

中文文档: http://sklearn.apachecn.org/cn/0.19.0/tutorial/basic/tutorial.html 英文文档: http://sklearn.apachecn.org/en/0.19.0/tutorial/basic/tutor...
  • V_Princekin
  • V_Princekin
  • 2017-11-21 14:40
  • 145

【Scikit-Learn 中文文档】5 内核岭回归 - 监督学习 - 用户指南 | ApacheCN

中文文档: http://sklearn.apachecn.org/cn/0.19.0/tutorial/basic/tutorial.html 英文文档: http://sklearn.apachecn.org/en/0.19.0/tutorial/basic/tutoria...
  • airufengye
  • airufengye
  • 2017-11-22 19:30
  • 32

【Scikit-Learn 中文文档】五:内核岭回归 - 监督学习 - 用户指南 | ApacheCN

中文文档: http://sklearn.apachecn.org/cn/0.19.0/tutorial/basic/tutorial.html 英文文档: http://sklearn.apachecn.org/en/0.19.0/tutorial/basic/tutoria...
  • lonsonlee
  • lonsonlee
  • 2017-11-21 13:45
  • 111

scikit-learn 中文文档-内核岭回归-监督学习|ApacheCN

中文文档: http://sklearn.apachecn.org/cn/0.19.0/tutorial/basic/tutorial.html 英文文档: http://sklearn.apachecn.org/en/0.19.0/tutorial/basic/tutor...
  • qq_41127512
  • qq_41127512
  • 2017-11-21 20:21
  • 50

【Scikit-Learn 中文文档】随机梯度下降 - 监督学习 - 用户指南 | ApacheCN

中文文档: http://sklearn.apachecn.org/cn/0.19.0/modules/sgd.html 英文文档: http://sklearn.apachecn.org/en/0.19.0/modules/sgd.html 官方文档: h...
  • u012185296
  • u012185296
  • 2017-11-21 16:18
  • 119

【Scikit-Learn 中文文档】高斯过程 - 监督学习 - 用户指南 | ApacheCN

1.7. 高斯过程 高斯过程 (GP) 是一种常用的监督学习方法,旨在解决*回归问题*和*概率分类问题*。 高斯过程模型的优点如下: 预测内插了观察结果(至少对于正则核)。 预测结果是概率形式的(高斯形式的)。这样的话, 人们可以计算得到经验置信区间并且据此来判断是否需要修改(在线拟合,自适应) 在...
  • u012185296
  • u012185296
  • 2017-11-21 16:42
  • 163

【Scikit-Learn 中文文档】半监督学习 - 监督学习 - 用户指南 | ApacheCN

半监督学习 适用于在训练数据上的一些样本数据没有贴上标签的情况。 sklearn.semi_supervised 中的半监督估计, 能够利用这些附加的未标记数据来更好地捕获底层数据分布的形状,并将其更好地类推到新的样本。 当我们有非常少量的已标签化的点和大量的未标签化的点时,这些算法表现均良好。
  • u012185296
  • u012185296
  • 2017-11-23 11:05
  • 189
    个人资料
    • 访问:125203次
    • 积分:2484
    • 等级:
    • 排名:第17528名
    • 原创:50篇
    • 转载:0篇
    • 译文:57篇
    • 评论:54条
    ApacheCN 官方微博
    最新评论