统计学习方法第二章
思维导图
(是不是像目录的结构,就这样结束太草率)
具体解释:
感知机
感知机是二类分类的线性分类模式,输入为实例的特征向量(输入向量的不同分量结合在一起就是指特征向量),输出为实例的类别。
感知机模型
具体做的一件事情就是通过将W乘以X(都为矩阵)加上一个常数项来拟合数据。也就是书上说的得到一个分离超平面。
(对于属性为二维的情况)
感知机学习策略
我们需要做的就是将这个函数最小化。等价于对于特定的输入输入空间,我们找到一个分离超平面(我认为这个超平面可能是唯一的,但是梯度下降法只能得到局部最小值,所以通过学习算法得到的分离超平面不是唯一的,我们需要一些SVM的方法来得到一个唯一的分离超平面)
感知机学习算法
这就是普通的梯度下降法(如果需要了解梯度下降,click中的Learning with gradient descent)
同时在这一部分我们证明了该算法的收敛性(就是说一定可以找到一个损失函数的局部最小值,使得所有数据都能够被分离超平面分离)
为了使得本章与SVM表示方法相对应,我们做出了如下更改:
我们的算法就会变为如下形式:
这个也就是我们所说的对偶形式
感谢李航老师《统计学习方法》