Support Vector Machines (SVMs) Introduction The Math b

作者：禅与计算机程序设计艺术

1.简介

支持向量机（Support Vector Machine，SVM）是一种用于分类和回归的机器学习模型，其特点在于通过构造超平面将数据划分到多个空间中，使得每一个数据点都在超平面的正负方向上。因此SVM可广泛应用于模式识别、图像处理、生物信息、文本分类、网络安全等领域。

2.Basic Concepts and Terminology

2.1 Supervised Learning Problem Formulation

SVM作为监督式学习方法，所要解决的问题可以描述为：给定一个训练样本集合$D={(x_i,y_i)}{i=1}^{n}$，其中$x_i\in R^p$表示输入变量，$y_i \in {-1,+1}$表示输出变量(类别标签)，试求解能够最大化训练集目标函数$F(w,b)$，即: $$ \max{w,b}\sum_{i=1}^ny_i(wx_i+b)-\frac{1}{2}\sum_{i=1}^n\sum_{j=1}^n\alpha_i\alpha_jy_iy_jx_i^Tx_j $$ 其中$\alpha_i>0$, $\forall i$. $F(w,b)$为经验风险(empirical ris