Kernel Trick

最新推荐文章于 2024-07-18 16:45:18 发布
最新推荐文章于 2024-07-18 16:45:18 发布
阅读量1.4k 收藏 7
点赞数 1
分类专栏： 机器学习 文章标签： 机器学习 核函数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43933420/article/details/87897675
版权

什么是kernel trick

在机器学习当中，我们有时需要将n维数据投影到更高维的空间然后做内积，传统思想是先用空间转换函数将数据投影到高维空间，然后再对数据做内积。例如，有两个向量

x=\begin{bmatrix} x_1\\ x_2 \end{bmatrix}^T,z=\begin{bmatrix} z_1\\ z_2 \end{bmatrix}^T

我们要利用转换函数

\phi(x)=\begin{bmatrix} x_1\\ x_2 \end{bmatrix}^TA = \begin{bmatrix} x_1& x_2 \end{bmatrix} \begin{bmatrix} a_{11} &a_{12} &a_{13} \\a_{21} & a_{22} & a_{23} \end{bmatrix} =\begin{bmatrix} x_1^2& \sqrt{2}x_1x_2& x_2^2 \end{bmatrix}

将x和z做转换然后再内积，过程如下

\phi(x)*\phi(z)^T=\begin{bmatrix} x_1^2\\ \sqrt{2}x_1x_2\\ x_2^2 \end{bmatrix} \begin{bmatrix} z_1^2& \sqrt{2}z_1z_2& z_2^2 \end{bmatrix}\\ =x_1^2z_1^2+2x_1x_2z_1z_2+x_2^2z_2^2\\ =(x_1z_1+x_2z_2)^2 =(\begin{bmatrix} x_1& x_2 \end{bmatrix} \begin{bmatrix} z_1\\ z_2 \end{bmatrix})^2\\ =(x*z^T)^2\\ =K(x,z)

可以看到，将x和z通过函数转换再做内积的步骤，可以替换成x和z的内积再取平方，后者就是用了kernel trick。当数据需要投影到更高维时，计算\phi(x)的代价将会很高，如下图所示

这时使用kernel trick，先计算x和z的内积再取平方，可以减少计算代价，节省时间。

kernel trick的判断与构造

Mercer 定理：任何半正定的函数都可以作为核函数。

未完待续。。。

 

 

 

tigogogogo
关注
  • 1
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Kernel Trick——核机制，更高维空间内积的快速计算
hftytf的博客
11-15 305
Kernel Trick——核机制，更高维空间内积的快速计算
The Kernel Trick.pdf
07-08
机器学习中为什么需要 Kernel Trick 以及 Kernel Trick 的证明。
机器学习基础（五十五）—— 核（Kernel Trick）
04-22 3892
如果原始空间（x\mathbf x）是有限的，即属性数有限，那么一定存在一个高维特征空间（ϕ(x)\phi(\mathbf x)）使样本可分。
核技巧(Kernel trick)解析
热门推荐
krais_wk的博客
07-11 2万+
1. 脊回归 设训练样本集为(xi, yi)，其线性回归函数
Kernel、Kernel Method、Kernel Trick
αlphαβet
07-08 879
Kernel Kernel Function 是一个二元函数 $K(v,w) $，即 K：Rn×Rn→RK：R^n × R^n \rightarrow RK：Rn×Rn→R 。这个二元函数用来计算向量 v，wv，wv，w 之间的 dot product(点积) 。其中 v，wv，wv，w 分别为 nnn 维空间中的一个向量。 二分类问题为例 假设有一个二分类问题，每个样本有两个特征，将所有样本 p...
支持向量机之Kernel Trick.pdf
01-17
"支持向量机之Kernel Trick.pdf" 支持向量机（SVM）是一种常用的机器学习算法，特别是在分类和回归问题中。然而，在解决线性不可分问题时，SVM 需要使用 Kernel Trick。Kernel Trick 是一种将输入空间映射到高维...
内核 PCA：使用内核 PCA 进行非线性降维。-matlab开发
05-30
这种技术利用了可以在 PCA 中使用的内核技巧。 这只是一个教程，对于大型数据集很慢。 在第30行中，可以更改内核。... 参考： http : //www.eecs.berkeley.edu/~wainwrig/stat241b/scholkopf_kernel.pdf
svm.rar_kernel svm_svm linux
09-24
在处理非线性问题时，SVM引入了核技巧（Kernel Trick），能够将原始数据映射到高维空间，在新的空间中找到线性可分的超平面。常见的核函数包括线性核、多项式核、高斯核（RBF）等。 在Linux内核中实现SVM驱动，意味...
A primer on kernel methods
02-20
随后，Aizerman 等人 (1964) 开始使用正定核来接近所谓的“核技巧”(Kernel Trick)，他们利用径向基函数(RBF)核来简化潜在函数分类器的收敛证明，使之类似于线性感知机的案例。在这个过程中，他们指出正定核等同于另...
SVM-Kernel Trick 核函数
weixin_30920091的博客
01-23 387
转载于:https://www.cnblogs.com/DeeLMind/p/8336155.html
支持向量机----核技巧(Kernel Trick)
西小庄村高伟 的博客
09-13 1508
支持向量机中的核技巧
kernel trick的原始想法
qq_36695866的博客
12-09 2378
对偶SVM中依然包含了对升维后的向量做内积的操作。而对原来的数据集做升维就要消耗大量的时间。能不能采用一种技巧来节约存储空间和减小运算复杂度呢？ 以二次非线性变换为例，如下图： 两个做内积就是以下的式子： 也就是说，可以先对原始的数据做内积，再进行一些很简单的代数运算得到和之前一样的结果。受此启发，就可以定义一个kernel函数，这个函数的作用就是将原来的数据集映射到一个
内核策略（Kernel Trick）
最新发布
...
07-18 604
内核策略是机器学习中的一项关键技术，主要用于将非线性问题转化为线性问题，通过在高维特征空间中进行线性操作，以解决原始输入空间中无法线性解决的问题。这一策略的核心是使用核函数（Kernel Function）来计算数据点在高维空间中的内积，而无需显式地将数据映射到高维空间。内核策略是机器学习中的一项关键工具，它通过使用核函数来避免显式高维特征空间的计算，从而简化了非线性问题的解决。在子空间聚类和其他领域，内核策略通过捕捉数据的非线性结构，显著提升了算法的性能和适用范围。
什么是核方法kernel trick
lpflpf5678的博客
05-25 329
添加链接描述
支持向量机之核技巧Kernel Trick
weixin_42397505的博客
01-17 313
Kernel trick----PRML读书笔记
weixin_30950607的博客
03-31 96
　　Many linear parametric models can be re-cast into an equivalent 'dual representstion' in which the predictions are also based on linear combinations of a kernel function evaluated at the training da...
机器学习与高维信息检索 - Note 6 - 核， 核方法与核函数（Kernels and the Kernel Trick）
Stan_Fu的博客
01-27 1433
到目前为止，我们所讨论的机器学习算法的成功都依赖于对输入数据分布的假设。例如，PCA的效果越好，数据围绕线性子空间分布。或者在线性判别分析中，我们假设类的高斯分布，甚至有相同的协方差矩阵。为了更好地考虑输入数据的其他更复杂的分布，扩展方法的一种方式是采用所谓的核方法。它允许概括所有基本上只有标准内积作为输入数据的方法。在机器学习中，核是一类用于模式分析的算法，其最著名的成员是支持向量机(SVM)。模式分析的一般任务 是发现和研究数据集中的一般关系类型（例如集群、排名、主成分、相关性、分类）。
核函数，Kernel Function， Kernel Trick，Mercer‘s condition，半正定矩阵positive semi-definite
weixin_42666153的博客
08-30 821
理论上，一个Kernel matrix(K, Gram matrix)是半正定矩阵(positive semi-definite)，这个k就是kernel function。
kernel trick
05-30
Kernel trick是一种机器学习中的技巧，用于将低维数据映射到高维空间中，以便更好地进行分类和回归等任务。在一些算法中，如支持向量机（SVM），使用核技巧能够将线性不可分的数据转换为线性可分的数据，从而提高分类器的性能和泛化能力。核技巧的思想是通过一个核函数（kernel function）来定义两个数据点之间的相似度，从而替代原始输入空间中的点积运算，使得高维空间的运算变得更加高效。常见的核函数包括线性核、多项式核、高斯核等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值