机器学习Day7

概念

支持向量机（SVM）是一种二分类模型，它的目的是寻找一个超平面（线性、非线性）来对样本进行分割，分割的原则是间隔最大化，最终转化为一个凸二次规划问题来求解。

线性支持向量机：寻找一个线性特征空间来对样本进行分割，分割的原则是间隔最大化，此时返还能力最强

非线性支持向量机：当原始样本空间不是线性可分的情况，可将样本从原始空间映射到一个更高维的特征空间，使得样本在这个特征空间内线性可分

非线性支持向量机可能会用到核函数

核函数：将原始空间中的向量作为输入向量，并返回特征空间（转换后的数据空间,可能是高维）中向量的点积的函数称为核函数

SVM的优缺点

优点：SVM的决策函数只由少数的支持向量所决定，计算的复杂性取决于支持向量的数目，而不是样本空间的维数，这在某种意义上避免了维数灾难，可以解决非线性问题、避免神经网络结构选择、局部极小值点问题

缺点：SVM算法对大规模训练样本难以实施，（原始）仅适用于处理二分类问题，对缺失数据敏感，对参数调节和核函数的选择敏感