机器学习：感知机、线性回归和Logistic回归（待续~）

1、感知机

感知机的直观解释为，使用超平面将特征空间中的一组实例分割开来。定义该超平面为：$W^{T}x+b=0$。数据标签取值： y i ∈ { + 1 , − 1 } y_i\in\{+1,-1\} yi​∈{+1,−1}。

---

1.1、模型

该模型决策函数为：
$$f(x)=sign(W^{T}x+b)\text{\hspace{1em}(1)}$$
当 $f(x)>0$ 预测为正例，$f(x)<0$ 预测为负例。

---

1.2、学习策略

对于模型误分类的样本：
$$-y_i(W^{T}x+b)>0\text{\hspace{1em}(2)}$$
误分类样本到分类超平面的距离为：
$$-\frac{y_i(W^T{x}_i+b)}{||W||}\text{\hspace{1em}(3)}$$
其中，$||W||$ 为超平面法向量的 $L_2$ 范数。因此，不妨将其设为 $1$。

给定训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\} T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)}，在模型上发生误分类的样本子集为 $M$，则所有误分类样本到分类超平面的距离和为：
$$L(W,b)=-\sum _{x_i\in M}{y}_i(W^{T}x+b)\text{\hspace{1em}(4)}$$

---

1.3、学习算法

显然，优化过程中，我们选择使 $L(W,b)$ 最小的模型作为最终模型。即选择 $(W,b)$ 使得
$$L_{min}(W,b)=-\sum _{x_i\in M}{y}_i(W^{T}x+b)$$
已知损失函数 $L(W,b)$ 的梯度为：
$$\begin{array}{rl}{\nabla }_{W}L(W,b)& =-\sum _{x_i\in M}{y}_i{x}_i\\ {\nabla }_{b}L(W,b)& =-\sum _{x_i\in M}{y}_i\end{array}\text{\hspace{1em}(5)}$$
选择随机梯度下降（$SGD$）的优化方法，每次从误分类集合 $M$ 中选择一个样本 $(x_i,y_i)$，更新 $W,b$ 如下：
$$\begin{array}{rl}W& \leftarrow W+\eta y_i{x}_i\\ b& \leftarrow b+\eta y_i\end{array}\text{\hspace{1em}(6)}$$
综上，算法学习过程表示如下：

输入：数据集 $T$，学习率 $\eta (0<\eta \le 1)$
1. 选取初始 $W_0,b_0$
2. 在训练集中选取 $(x_i,y_i)$
3. 如果 $y_i(W^{T}x+b)\le 0$：
$$\begin{array}{rl}W& \leftarrow W+\eta y_i{x}_i\\ b& \leftarrow b+\eta y_i\end{array}$$
4. 不满足条件 3 则转到步骤 2

以上算法可以直观地解释为：当样本发生误分类时，调整 $W,b$ 使分类超平面向误分类样本一侧移动，从而减小误分类样本与分类超平面之间的距离，直至超平面将该样本正确分类为止。

---

1.4、PLA 对偶形式

通过观察式 $(6)$ 可知：每个误分类样本下，$W$ 每次更新的步长相同，当 $W,b$ 均以 $0$ 初始化时，可以得出：
$$\begin{array}{rl}W& =\sum _{i=1}^n{n}_i\eta y_i{x}_i\\ b& =\sum _{i=1}^n{n}_i\eta y_i\end{array}\text{\hspace{1em}(7)}$$
令 ${\alpha }_i=n_i\eta$，可得：
$$\begin{array}{rl}W& =\sum _{i=1}^n{\alpha }_i{y}_i{x}_i\\ b& =\sum _{i=1}^n{\alpha }_i{y}_i\end{array}\text{\hspace{1em}(8)}$$
故对偶算法为：

输入：数据集 $T$，学习率 $\eta (0<\eta \le 1)$
1. $\alpha \leftarrow 0,b\leftarrow 0$
2. 在训练集中选取 $(x_i,y_i)$
3. 如果 $y_i(\sum _{j=1}^n{\alpha }_j{y}_j{x}_j{x}_i+b)\le 0$：
$$\begin{array}{rl}{\alpha }_i& \leftarrow {\alpha }_i+\eta \\ b& \leftarrow b+\eta y_i\end{array}$$
4. 不满足条件 3 则转到步骤 2 直到样本 $x_i$ 正确分类

---

注意：

1. 该算法是一个 NP 难问题，实际应用中很难保证样本集是线性可分的，不满足线性可分的前提条件，$PLA$ 算法不收敛。
2. 满足线性可分的条件时，该算法必收敛，相关证明参考《统计学习方法—李航》
3. 为了加快算法收敛，实际应用中通常使用线性回归的解（$LR$ 具有解析解）来初始化模型。

---

2、线性回归

2.1、模型

2.2、学习策略

2.3、学习算法

3、Logistic回归

3.1、模型

3.2、学习策略

3.3、学习算法