机器学习 - 感知器

• 二分类线性模型

  $f(x)=sign(w\cdot x+b)，sign(x)=\{\begin{array}{l}+1，x\ge 0\\ -1，x>0\end{array}$

  $\bullet$ 当满足：$y_i=+1，w\cdot x_i+b\ge 0，且y_i=-1，w\cdot x+b<0时$，称该数据集线性可分。

  当数据集线性可分时，感知器可以收敛；当数据集线性不可分时，感知器不收敛，发生震荡。

• 损失函数

  损失函数被构建为，所有误分类点到超平面的总距离。

  （点到线距离公式：$d=\frac{|w\cdot x+b|}{\sqrt{||w|{|}_2}}$）

  即，$L(w,b)=-\frac{1}{||w|{|}_2}{\sum }_{x_i\in X}{y}_i(w\cdot x_i+b)$，

  若不考虑 $-\frac{1}{||w|{|}_2}$ ，则得到 $L(w,b)={\sum }_{x_i\in X}{y}_i(w\cdot x_i+b)$

• 梯度下降更新参数

  $w:=w+\eta \cdot y_i{x}_i$

  $b:=b+\eta \cdot y_i$

  若 $y_i(w\cdot x_i+b)\ge 0$ 意味着 $y_i与w\cdot x_i+b$ 同号，分类正确；
  若 $y_i(w\cdot x_i+b)<0$ 意味着 $y_i与w\cdot x_i+b$ 异号，分类错误；

  应当在 $y_i(w\cdot x_i+b)<0$ 时进行修正，即 $x_i$ 位于超平面错误一侧时调整 $w,b$ ，使超平面向误分类点一侧移动。

• 线性分类器的理解

  1. 空间划分角度

     将每个样本中提取出的特征视为空间中的点坐标，则 $w\cdot x+b$ 是一个超平面，可以将不同类别的样本划分开。

     当一个超平面无法区分样本，达到最好划分效果时，可以使用多个超平面进行划分，每一个 $w\cdot x+b$ 都对应一个超平面。

  2. 模板匹配角度

     将 $w,b$ 视为模板，$x_i$ 代入计算后得出的值视为匹配度。