文章标题

第一次写技术博客！主要是给自己的学习做总结。
用的是李航博士《统计学习方法》这本书。
概论：
这本书主要讲的是监督学习。目前看来监督学习主要有两块：分类问题和回归问题。
分类问题：感知机、knn、naive bayes、svm等；
回归问题：LR、logistic回归等。
第一站主要来探讨感知机和支持向量机的简单对比问题
感知机是一种很朴素的二分类的问题。利用一个平面将数据集中的点分成正反两个面。欲使得它的损失函数最小，也就是预测错误的点最少。但是这样子的话损失函数就不是连续的了，不连续则不可导。因此我们选择误分类的点到平面的距离来作为损失函数。
因此，空间中任意一点到超平面S的距离为：
$s=\frac{1}{||w||}|w*x_0+b|$
而$\frac{1}{||w||}$是可以调节的，因此只需要考察后半边就行了。绝对值是用来调节正负号的，而$(x_i,y_i)$中的$y_i$正好也是符号，因此我们只需要考察$（w*x_i+b）y_i$,使其最小化就行了。
那么对于其就是简单的最小化问题了，因此用梯度下降就可以很好的解决这个问题了！