机器学习笔记（2）——感知机

Perceptron（感知机）

感知机是二分类的线性分类器,属于判别模型。由Rosenblatt在1957年提出，是神经网络和支持向量机（SVM）的基础。感知机本身相当于神经网络中的一个神经元，只能进行简单的线性分类。感知机的学习目标是通过训练数据得到线性划分的超平面。为此，引入基于分类误差的损失函数，利用梯度下降法对损失函数进行极小化，来求解感知机模型。

1.感知机模型

---

定义：假设输入空间（特征空间）是$\chi\subseteq R^n$,输出空间是$Y=\{+1,-1\}$.输入$x\in\chi$是样本的特征向量，对应的输出$y\in Y$是样本的类别。输入空间到输出空间的映射模型为：

$$f(x)=sign({\bf w\cdot x}+b)$$
其中 $\bf x$是输入样本的特征向量， ${\bf w},b$是感知机的模型参数， $\bf w$是权值， $b$是偏置，都需要通过学习得到。 $\bf w\cdot x$是 $\bf w$和 $\bf x$的内积。

2.感知机学习策略

---

线性可分定义：给定一个数据集

$$T=\{(x_1,y_1),(x_2,y_2),\ldots,(x_N,y_N)\}$$
其中 $x_i$是样本特征向量， $y_i$是样本对应类别，如果存在某个超平面 ${\bf S:}{\bf w\cdot x}+b=0$能够将数据集的正样本和负样本全部正确地划分到超平面的两侧，则样本 $T$是线性可分数据集。
假设数据集是线性可分的，感知机的目标就是求得一个能够将所有样本正确分类的超平面，即学习出前面感知机模型的参数 ${\bf w}，b$。为了得到最佳参数，我们需要确定一个学习策略，即定义一个合适的损失函数，并求得 ${\bf w}，b$使损失函数最小。在感知机模型中，一般定义误分类点 $x_i$到超平面的距离为损失函数。首先，定义点到超平面的距离：
$$\frac{1}{\| {\bf w}\| }|{\bf w\cdot x_i}+b|$$
对于误分类数据 $(x_i,y_i)$有：
$$-y_i({\bf w\cdot x_i}+b)>0$$
即预测类别 $（{\bf w\cdot x_i}+b)$和实际类别 $y_i$总是相反，因此可以定义误分类点 $(x_i,y_i)$到超平面的距离为：

−