机器学习第六章支持向量机

1. 试证明样本空间中任意点x到超平面(w,b)的距离公式为6.2。

2.  对于软间隔支持向量机，每个样本都有一个对应的松弛变量，用以表征__________样本不满足原约束的程度______________________。

9.试述SVM软间隔与SVM硬间隔的区别。

软间隔是硬间隔SVM 的扩展版本。硬间隔支持向量机 仅在数据完全线性可分离且没有任何错误（噪声或离群值）时才能工作。在出现错误的情况下，硬间隔SVM失败。另一方面，Vapnik提出了软间隔支持向量机，通过引入松弛变量来解决此问题。

10.试述机器学习中L1正则化和L2正则化。

L1正则化的特点：

不容易计算，在零点连续但不可导，需要分段求导；L1模型可以将一些权值缩小到零（稀疏）执行隐式变量选择。这意味着一些变量值对结果的影响降为0，就像删除它们一样 其中一些预测因子对应较大的权值，而其余的（几乎归零）由于它可以提供稀疏的解决方案，因此通常是建模特征数量巨大时的首选模型它任意选择高度相关特征中的任何一个，并将其余特征对应的系数减少到0 L1范数对于异常值更具提抗力

L2正则化的特点：

容易计算，可导，适合基于梯度的方法将一些权值缩小到接近0 相关的预测特征对应的系数值相似当特征数量巨大时，计算量会比较大 对于有相关特征存在的情况，它会包含所有这些相关的特征， 但是相关特征的权值分布取决于相关性。对异常值非常敏感 相对于L1正则会更加准确