Coursera吴恩达机器学习week4笔记

Large Margin Classification

Optimization Objective

svm：

Large margin intuition

Mathematics Behind Large Margin Classification

Kernels

Kernels1

定义决策边界对应的函数是Θ0+Θ1f1+Θ2f2+Θ3f3，其中f1、f2和f3就是相似度函数。

下图给定新的x点，计算该点与标记的3个标记点(landmark)l(1)、l(2)和l(3)之间的相似度f1、f2和f3。**相似度函数就是所谓的核函数。**在这里，就是高斯核函数，实际还有许多不同的核函数。这个相似度函数也可以写成K(x,l(i))，这里的x和l是向量。

Kernels2

如何得到l(1)、l(2)、l(3)等标记点(landmark)：选取所有训练样本为标记点。这说明特征向量是在描述新样本距离每一个测试样本的距离。

已知Θ向量，如何对样本做出预测：给定x，计算特征向量f，只要当ΘTf>=0时就预测y=1,；否则，就预测y=0。其中的参数向量Θ是m+1维的（f0=1），这里有m+1个特征，额外的1是因为截距的原因。许多SVM软件包自动设置x0=1，自动设置截距Θ0。因此，实现SVM时，不用像逻辑回归那样添加x0=1这样的向量。

SVMs in Practice

Using an svm

如果选择高斯核函数，那么要实现函数来计算核函数的特定特征。注意，如果特征变量取值范围很不一样，在使用高斯核函数之前，对它们进行归一化是很重要的。

不常用的核函数如下：
1.多项式核函数。k(x,l)=(xTl+b)^n（b为常数，n为指数），x和l很接近的时候，k(x,l)会很大。这个核函数有2个参数：b和n。效果要比高斯核函数差一些。用在x和l都是严格非负数的时候，保证两者的内积非负。
2.字符串核函数。用于字符串相关，比如文本分类。
3.卡方核函数。
4.直方图交叉核函数。

1.多类分类问题。许多SVM软件包已经内置用于多类分类的函数，可以直接使用；也可以使用逻辑回归中提及的一对多的方法进行分类（k个类别，k个参数theta）。

实际上，SVM是一个凸优化问题，有全局最小值。有时候，选择模型确实重要，但更重要的是数据是否充足，是否熟练，是否擅长做误差分析和调试学习算法，如何设计新的特征变量等等。