感知机总结

  感知机是二分类、线性可分的分类器。感知机使用随机梯度下降法优化参数。

1. 原始形式

$$f(x)=sign(w\cdot x+b)$$

$$损失函数:L(w,b)=-\sum _{i=1}^N{y}_i(w\cdot x_i+b)$$

$$w=w+\eta y_i{x}_i$$

$$b=b+\eta y_i$$

$$其中x_i\in M，也就是x_i是被错分的数据点，每次随机选取一个$$

2. 对偶形式

$$f(x)=sign(\sum _{j=1}^N{\alpha }_j{y}_j{x}_j\cdot x+b)$$

$${\alpha }_j={\alpha }_j+\eta$$

$$b=b+\eta y_i$$

  使用了Gram矩阵来计算x之间的点乘来降低重复运算。主要应用于特征数远远大于样本数。（特征空间的维度远大于数据集大小时才起作用）

3. Q

  为什么是线性可分分类器呢？因为分界面是线性的。