机器学习中内核的秘密：著名案例教你构建它！

全文共1576字，预计学习时长3分钟

内核是映射空间中两个向量之间的相似性度量（关于内核的详细情况，请参考文末链接）。本文将带你了解一些有名的内核，以及如何组合它们生成其他内核。

注意：在本文的例子中，为达到绘图目的，x’是一维的向量，并且把x ’的值固定为2。

线性核

这个内核的超参数是标准差和偏移量参数c。直观地讲，这个内核是什么意思?如果取一个特定的x并将它与所有其他的x’进行比较，会得到一条直线。这就是为什么它被称为线性核。固定x和变量x’表示正沿着直线移动。

它另一个特点是非平稳，指它的值是关于x’的绝对位置而不是相对位置变化的。另一个好处是由于它是线性的，所以在优化中能很有效进行计算。

多项式核

正如名称所示，这个内核是一个多项式函数和offset c。这值得花一点时间并思考形成这个内核的映射函数ϕ，如果记得内核是映射空间中的一个相似度函数(数量积)——所以它返回了一个标量。2等多项式核的映射函数在二维空间中是这样的：

当增加输入维数d和多项式次数时，映射得到的特征空间会变得很大。好处是可以计算数量积而不需要做变换，如上面的公式所示。这是众多内核理论的公示之一。

径向基函数核

这是一个很有名且经常使用的内核。由于指数中的负指数，指数的取值范围从0到1。因为可以说，1表示很相近或相同，接近0表示完全不同，这是一个很好的特征。σ参数指数控制内核的灵敏度。对于低的σ，只有真正接近的点才是相近的。为了一个更大的σ要放松相似性的标准，因为一个距离更远的点会更相近。

当然，内核这样是因为x被固定在0和变量x’上，逻辑上足够去计算在整个x区域点之间的相似性。这暗示了一个平面，实际上这个平面就是内核含义的例子：

不尽人意的是，内核的值在对角线处最高，在这里x 和x '是一样的。

周期核

当考虑周期性时，自然会想到周期函数，比如正弦和余弦。逻辑上来说，周期核有正弦函数。内核的超参数同样是特定相似性的灵敏度σ，但除此之外，有特定正弦函数周期的参数p。这完全有道理。另外，注意径向基核和周期核之间的相似性，它们都被限制输出值在0和1之间。

什么时候想要使用周期核呢?这是很有逻辑的，假设想要建一个正弦函数。只从这个函数中取两个关于欧氏距离较远的点，并不意味着函数的值意义不同。为了解决这类问题，需要周期核。为了完整起见，看看当调整周期核的周期性时会发生什么(没有什么意外)：

局部周期核

得到这个内核的方法基本上就是用径向基核乘以周期核。结果是，得到的内核值还会随着x和x '之间的距离而变化，而不仅仅是随着距离的周期性变化。这导致了所谓的局部周期性。

用3D来绘制这个内核，得到了如下特别的形状：

看起来很酷！

构建新内核

现在已经看到了一些内核的例子。问题是需要什么来构建新的内核呢?内核有两大特征：

1. 添加含有内核的内核将生成一个新的内核。

2. 内核相乘会产生一个新的内核。

这些能基本构建有意义的内核，本身不需要太多数学运算，而且非常直观。乘法可以看作是一个and运算，特别是考虑到内核在0和1之间。因此，将周期核与径向基函数核相结合，可以得到局部周期核。

这些例子可以帮助开始探索内核。当然，这只是刚刚触及到所有有趣内核的表面部分。针对问题进行的内核设计是一个重要的任务。要做好这件事需要一定的经验。此外，机器学习中还有一个专门研究内核函数的领域。

由于算法的要求，内核设计也会很棘手。因为许多基于内核的算法都涉及到Gram矩阵倒置，所以要求内核是正定的。

参考：《机器学习的内核秘密》

传送门：https://towardsdatascience.com/kernel-secrets-in-machine-learning-2aab4c8a295f

留言 点赞 关注

我们一起分享AI学习与发展的干货
欢迎关注全平台AI垂类自媒体 “读芯术”

（添加小编微信：dxsxbb，加入读者圈，一起讨论最新鲜的人工智能科技哦～）