（吴恩达笔记 2-1）——支持向量机SVM

支持向量机

该算法属于监督学习的一种，并且svm是最好的现成的分类器，这里说的现成的是可以不加修改直接使用，这就意味着，在数据上应用基本形式的svm分类器就可以得到低错误率的结果。

svm能对训练集以外的数据做出很好的分类决策

【注】以下内容均为本人在学习吴恩达机器学习视频时所作笔记，所以较吴恩达的字幕而言相对简单。

逻辑回归中的0,1类所对应的损失函数:

开始构建支持向量机

支持向量机在我理解的：

就是把损失函数cost1和cost2替换之前的log代表的函数，而对于系数1/m其实不影响最终求得的theta的值，所以将1/m去掉，并将系数lamdba换成c=1/lambda放于前面。

而对于这里的h(x)这里的函数的定义如下:

但是支持向量机的对应条件更加严格，不仅是之前的以0为临界点，加上之前类比电路中，加一个缓冲，更加严格的条件增加容错率

决策边界：

支持向量机的边界，最大边距，大间距分类器

对于第一项前的参数C，如果将C设置特别大，也就是说对于的lamdba特别小，其所对于的正规化系数小，一些多项式没有很好的降低权重影响，而对于某些误差点，也能进行很好的拟合，其实这样是过拟合的情况。
就像下图，所以对于样本，不想使得决策边界因为某个误差点产生很大的变化，需要将C值设置小一些，对应的正规化参数大一些，这样能得到拟合总体样本较好的决策边界

更深层的解释其原理：

因为优化目标是最小化theta^2的值，对于向量theta来说，其平方就是1/2*theta的长度的平方，将x,theta向量都在图中表示，转置theta和X的乘积将会等于X在其上的投影，所以等于p(i)*theta的模

例如下图所示：

如果选择左边的决策边界，其对于样本的投影将会变得非常小，p(i)将会很小，而要使得p(i)*theta>=1，其对应的theta将会相应的增大，所以这并不是一个很好的使得theta^2最小的决策边界，所以选择右边的最大间距的决策边界，其对于的theta^2就会很小。达到优化的目的。

所以通俗的解释就是，因为margin边距对应的值是p(i)，所以当p(i)最大时也就是边距最大，得到的theta将会最小，对于theta和边界垂直的这个问题就不知道怎么来的了。

---

【原创文章】转载请注明出处：http://blog.csdn.net/wearge/article/details/77073324