1. 核方法¶
当存在线性不可分的场景时,我们需要使用核函数来提高训练样本的维度、或者将训练样本投向高维
高斯核函数使用较多。
- 线性核:一般是不增加数据维度,而是预先计算内积,提高速度
- 多项式核:一般是通过增加多项式特征,提升数据维度,并计算内积
- 高斯核(RBF、径向基函数):一般是通过将样本投射到无限维空间,使得原来不可分的数据变得可分。
- 其他了解即可
SVM 默认使用 RBF 核函数,将低维空间样本投射到高维空间,再寻找分割超平面。
2. 损失函数¶
0-1 损失:
- 当正例样本落在 y=0 下方则损失为 0,否则损失为 1.
- 当负例样本落在 y=0 上方则损失为0,否则损失为 1.
Hinge (合页)损失:
- 当正例落在 y >= 1 一侧则损失为0,否则距离越远则损失越大.
- 当负例落在 y <= -1 一侧则损失为0,否则距离越远则损失越大.
Logistic 损失:
- 当正例落在 y > 0 一侧,并且距离 y=0 越远则损失越小.
- 当负例落在 y < 0 一侧,并且距离 y=0 越远则损失越小.