机器学习技法系列二

核方法

核方法目标：简化计算复杂度，简化内积的计算

多项式核

多项式核函数：不同核函数，定义不同的支持向量，导致计算出来的支持向量不同

无限多维高斯核

y越大，拟合程度越大，过大会过拟合

软间隔

泛化形式之一，允许部分误分类
参数C决定允许错误的范围

软间隔的拉格朗日形式与简化

通过偏导数为0，消除冗余参数，消除冗余参数之后与硬间隔SVM形式一致

关于SVM之前看过统计学习方法对这方面的解释比较详细，对于KKT条件讲解的也比较详细，读者如果读到这里不妨看看统计及学习方法的解释，应该会理解更深刻一些，后续重读统计学习方法时会将这部分补上

软间隔与硬间隔的比较

对错误的允许程度不一样，时间应用中软间隔效果更好，容错泛化能力更好