【机器学习】SVM，决策树，随机森林知识点整理

SVM

目的

支持向量机是一种经典的二分类模型，基本模型定义为特征空间中最大间隔的线性分类器，其学习的优化目标就是间隔最大化，即基于训练集D在样本空间中找到一个划分超平面，将不同类别的样本分开。当超平面的距离与它最近的数据点的间隔越大，分类的鲁棒性就越好，于是当新的数据点加入时，超平面对这些点的适应性越强，出错的可能性就越大。

优点

1. 非线性间隔映射是SVM方法的理论基础，SVM利用内积核函数代替向高维空间的非线性映射。
2. SVM的目标是找到对特征空间划分的最优超平面，SVM方法的核心是最大化分类边际的思想。
3. SVM的训练结果是支持向量，在分类决策中起到决定性作用。
4. SVM是一种小样本的学习方法，从本质上看，它避开了从归纳到演绎的传统过程，实现了高效的从训练样本到预测样本的“转导推理”，简化了通常的分类和回归问题。
5. SVM最终的决策函数只由少数的支持向量决定，计算的复杂性取决于支持向量的数目，而不是样本空间的维数，在某种意义上避免了“维数灾难”。
6. 有较好的鲁棒性：增删非支持向量样本对模型没有影响，SVM方法对核的选取不敏感。

不足

1. SVM算法对大规模训练样本难以实施。
2. SVM对解决多分类问题存在困难。

决策树

目的

决策树是一种树形结构，每个内部节点表示一个属性上的测试，每个分支表示一个测试的输出，每个叶子节点代表一种类别。