三. 支持向量机(SVM)
1. 深度学习(2012)出现之前,SVM被认为是机器学习中近十几年来最成功的,表现最好的算法。
2. SVM寻找区分两类的超平面,使边际最大。
3. 超平面可以定义为:wX+b=0 其中w和X都根据维度而定。所有超平面右上方的都>0,所有超平面左下方的都<0.
4. 边界点到直线的间隔越大,这样的分类器越好,因为能够防止过拟合,泛化性能好。
5. 只跟边界点有关系。
6. 许多数据是线性不可分的,利用核函数,把自变量带进高斯核函数,对其进行升维。
7. 多分类问题转化成多个二分类问题的时候,中间三角区域就实际上可能属于多个类,相当于没分出来,这就是分类的盲区。SVM在多分类上的效果不一定好。
8. SVM对数据噪声非常敏感。