机器学习之感知机算法（算法详细推导）

感知机算法

目标

使得错分点个数尽可能的少

$$min\#K$$

其中 K = { i K=\{i K={i|$y_i(w^T{x}_i+b)<0\}$，相当于使错分类样本到分界面距离之和最小，即

$$\begin{gathered} min\sum _{i\in K}|w^T{x}_i+b| \\ =>min\sum _{i\in K}-y_i(w^T{x}_i+b) \end{gathered}$$

运用梯度下降进行求解

每次随机选择一个错分点$(x_i,y_i)$进行参数更新

$$\begin{gathered} w:=w+\alpha y_i{x}_i \\ b:=b+\alpha y_i \end{gathered}$$

具体做题步骤

随机选取一个样本，若该样本是满足$y_i(w^T{x}_i+b)\le 0$也就是错分点，就对参数进行更新，直到参数使得所有样本点都不是错分点为止。