1、SVM算法的优缺点
2、SVM的超参数C如何调节
3、SVM核函数如何选择
4、简述SVM硬间隔推导过程
5、简述SVM软间隔推导过程
1、SVM算法的优缺点
优点:
(1)可以解决高维特征的分类和回归问题
(2)模型最终结果无需依赖全体样本,只需依赖支持向量
(3)有已经研究好的核技巧可以使用,可以应对线性不可分的问题
(4)样本量中等偏小的情况也有较好的效果,有一点泛化能力和鲁棒性。这也是深度学习热门起来之前,SVM比较火的主要原因
缺点:
(1)常规的SVM只支持二分类
(2)SVM在样本巨大且使用核函数时计算量很大
(3)线性不可分数据的核函数选择没有同一标准
(4)SVM对缺失数据和噪声数据较为敏感
(5)SVM更适合同性质的特征,如连续特征,对特征多样性没有更好支持
2、SVM的超参数C如何调节
SVM的超参数C用于调节松弛因子的占比,C越大对错误样本的惩罚越大
(1)低偏差、高方差,即遇到了过拟合时,减少C
(2)高偏差、低方差,即遇到了欠拟合时,增大C
3、SVM核函数如何选择
(1)当特征维度较高,样本量较少时,不宜使用核函数或者使用线性核的SVM
(2)当特征维度较低,样本量规模大的时候,可以使用高斯核函数,使用前需要对特征进行缩放
总之要看特征维度和样本规模,以免升维后的过拟合
4、简述SVM硬间隔推导过程
(1)通过点到平面的距离,构建带有约束条件的原始问题
(2)将原始问题经拉格朗日转换后求解其对偶问题,对拉格朗日函数求偏导,使得导数为0,化简为求拉个朗日系数
(3)通过SMO求解最优的
(4)根据 、w、b 表达式代换,得到超平面
5、简述SVM软间隔推导过程
整体过程与硬间隔求解雷同,多了个松弛因子,拉格朗日项也多了一项,对
、w、b求导=0