高斯函数、高斯核函数（RBF、径向基函数

作为机器学习中的一种算法，在解决分类问题中，高斯核函数便可发挥用途，当数据集不是线性可分的时候，需要利用核函数将数据集映射到高维空间，使其线性可分。

如下图所示，有一组一维数据，两个类别，明显是线性不可分的情况：

然后通过多项式将样本数据再增加一个维度，假设就是   ‍‍，样本数据就变成这样了：

此时原本线性不可分的样本数据，通过增加一个维度后就变成线性可分的状态。这就是多项式升维的意义
 

高斯核函数的公式： 

就是高斯核函数的超参数

原理

高斯核函数使线性不可分的数据线性可分的原理。

为了方便可视化，我们将高斯核函数中的取两个定值‍‍和，这类点称为地标（Land Mark）。那么高斯核函数升维过程就是假如有两个地标点，那么就将样本数据转换为二维，也就是将原本的每个值通过高斯核函数和地标，将其转换为2个值，既：

 

我们将高斯核函数中的取定了两个值‍‍ ‍‍和‍‍   。在实际运用中，是需要真实的将每个   ‍值带进去的，也就是每一个样本数据中的   ‍‍都是一个地标，那么可想而知，原始样本数据的行数就是新样本数据的维数，既原始 ‍‍的样本数据通过高斯核函数转换后成为   ‍‍的数据。当样本数据行数非常多的话，转换后的新样本数据维度自然会非常高，这也就是为什么会说高斯核函数的核心思想是将每一个样本点映射到一个无穷维的特征空间的原因

高斯分布

正态分布，它是一个非常常见的连续概率分布，最关键的是它又名高斯分布

我们再来看看高斯分布的函数:

 表示随机变量， 是均值（分布的中心位置）， 是方差（描述数据分布的离散程度）。

高斯分布的特点

• 对称性： 高斯分布是对称分布，以均值为对称中心。
• 钟形曲线： 呈钟形曲线，两侧尾部逐渐变缓，中心最高。
• 68-95-99.7法则： 大约68% 的数据落在均值附近一个标准差范围内，约95% 的数据在两个标准差内，约99.7% 的数据在三个标准差内。

高斯分布的应用

• 自然现象模拟： 许多自然现象的测量数据，如身高、体重、温度等，往往符合高斯分布。
• 统计推断： 许多统计学方法假设数据服从高斯分布，如线性回归、假设检验等。

参数的影响

• （均值）： 决定了分布的中心位置。
•  （方差）： 描述了数据的离散程度，方差越大，数据分布越分散。

上图是维基百科对高斯分布解释中的分布图，从图中可以看到：

‍‍‍‍高斯分布曲线的形状都是相似的钟形图。

决定分布图中心的偏移情况。

‍‍决定分布图峰值的高低，或者说钟形的胖瘦程度。

因为高斯函数中的   ‍‍和高斯核函数中‍‍   ‍‍成倒数关系。所以：

高斯函数中‍‍   ‍‍越大、高斯分布峰值越小。‍‍   ‍‍越小、高斯分布峰值越大。

高斯核函数中   ‍‍‍‍越大、高斯分布峰值越大，既钟形越窄。‍‍   ‍‍越小、高斯分布峰值越小，既钟形越宽。‍‍‍‍
 

 参考机器学习笔记（二十八）：高斯核函数-CSDN博客https://blog.csdn.net/bjchenxu/article/details/107478708