机器学习笔记2:支持向量机SVM基础入门
1.SVM基础概念
支持向量机(Support Vector Machine, SVM),一般来说是一种二类分类模型,其基本模型定义为特征空间行额间隔最大的线性分类器,其学习策略就是间隔最大化,最终可以转化为一个凸二次规划问题的求解。
2 线性分类器
首先对于SVM的第一个基础概念就是线性分类器,在上一篇的文章(基于Logistic回归进行数据预测)中,介绍了分类标准的起源——Logistic回归。如下图所示,给定一些数据点,它们分别属于两个不同的种类,如果用x(x可以是矩阵,所以可以代表多维数据)来表示数据点,用y(y分别取-1与1,分别代表两种不同的类),一个线性分类器的学习目标便是要在n维数据空间中,找到一个分隔超平面(separating hyperplane),下图中,由于数据是二维的,所以此时分隔超平面就是一条直线,如果给出的数据是三维的,那么用来分隔平面的数据就是一个平面。如果是1024维的数据,那么给出的分隔超平面就是1023维的。
超平面的方程可以表示为