【LDF】线性判别函数（二）

感知准则函数

1. 线性可分性

• 现有 $n$ 个 样本: ${\mathbf{y}}_1,{\mathbf{y}}_2,\dots ,{\mathbf{y}}_n$, 这些样本来自于两个类别 ${\omega }_1$ 或 ${\omega }_2$ 。
• 任务: 寻找一个线性判别函数 $g(\mathbf{x})={\mathbf{a}}^T\mathbf{y}$, 使对这 $n$ 个样本的错分概率最小。
• 如果存在一个权向量 $\mathbf{a}$, 对所有 $\mathbf{y}\in {\omega }_1$, 均有 ${\mathbf{a}}^T\mathbf{y}>0$, 且对 所有 $\mathbf{y}\in {\omega }_2$, 均有 ${\mathbf{a}}^T\mathbf{y}<0$, 则这组样本集为线性可分的; 否则为线性不可分的。 (广义判别函数意义下)

2. 样本规范化

• 如果样本集是线性可分的, 将属于 ${\omega }_2$ 的所有样本由 $\mathbf{y}$ 变成 $-\mathbf{y}$, 对所有 $n$ 样本, 将得到 ${\mathbf{a}}^T\mathbf{y}>0$ 。
• 经过上述处理之后, 在训练的过程中就不必考虑原来的样本类别。这一操作过程称为对样本的规范化(normalization) 处理。
• 规范化增广样本: 首先将所有样本写成齐次坐标形式，然后将属于 ${\omega }_2$ 的所有样本由 $\mathbf{y}$ 变成 $-\mathbf{y}$
• 后面主要将集中于 “规范化增广样本”。“增广” 是指 “齐次坐标表示” 的含义, 即 $\mathbf{y}={\left({\mathbf{x}}^T,1\right)}^T\in R^{d+1}$ 。

3. 解区与解向量

• 在线性可分的情形下, 满足 ${\mathbf{a}}^T{\mathbf{y}}_i>0,i=1,2,\dots ,n$ 的权向量 $\mathbf{a}$ 称为解向量。
• 权向量 $\mathbf{a}$ 可以理解为权空间中的一点, 每个样本 ${\mathbf{y}}_i$ 对 $\mathbf{a}$ 的位置均可能起到限制作用, 即要求 ${\mathbf{a}}^T{\mathbf{y}}_i>0$ 。
• 任何一个样本点 ${\mathbf{y}}_i$ 均可以确定一个超平面 $H_i:{\mathbf{a}}^T{\mathbf{y}}_i=0$, 其法向量为 ${\mathbf{y}}_i$ 。如果解向量 ${\mathbf{a}}^{\ast }$ 存在, 它必定在 $H_i$ 的正侧, 因为只有在正侧才能满足 ${\left({\mathbf{a}}^{\ast }\right)}^T{\mathbf{y}}_i>0$ 。
• 按上述方法, $n$ 个样本将产生 $n$ 个超平面。每个超平面将空间分成两个半空间。如果解向量存在, 它必定在所有这些正半空间的交集区域内。这个区域内的所有向量均是一个 可行的解向量 ${\mathbf{a}}^{\ast }$ 。
  

4. 限制解区

• 可行的解向量不是唯一的, 有无穷多个。
• 经验: 越靠近区域中间的解向量, 越能对新的样本正确分类；可以引入一些条件来限制解空间
• 比如: 寻找一个单位长度的解向量 $\mathbf{a}$, 能最大化样本到分界面的最小距离
• 比如: 寻找一个最小长度的解向量 $\mathbf{a}$, 使 ${\mathbf{a}}^T{\mathbf{y}}_i\ge b>0$ 。此时可以将 $b$ 称为间隔 (margin)。
  

5. 感知准则函数

• 感知准则函数
  任务: 设有一组样本 ${\mathbf{y}}_1,{\mathbf{y}}_2,\dots ,{\mathbf{y}}_n$, 各样本均规范化表示。我们的目的是要寻找一个解向量 $\mathbf{a}$ , 使
  $${\mathbf{a}}^T{\mathbf{y}}_i>0,i=1,2,\dots ,n$$
  在线性可分情形下, 满足上述不等式的 $\mathbf{a}$ 是无穷多的, 因此需要引入一个准则。
• Frank Rosenblatt 于50年代提出的感知学习机思想
  考虑如下准则函数:
  $$J_p(\mathbf{a})=\sum _{\mathbf{y}\in Y}\left(-{\mathbf{a}}^T\mathbf{y}\right)\text{, 其中, }Y\text{ 为错分样本集合 }$$
• 当 $\mathbf{y}$ 被错分时, ${\mathbf{a}}^T\mathbf{y}\le 0$, 则 $-{\mathbf{a}}^T\mathbf{y}\ge 0$ 。因此 $J_p$ (a) 总是大于等于 0 。在可分情形下, 当且仅当 $Y$ 为空集时 $J_p(\mathbf{a})$ 将等于零, 这时将不存在错分样本。
• 因此, 目标是最小化 $J_p(\mathbf{a}):{\min }_{\mathbf{a}}{J}_p(\mathbf{a})$
• 求导
  $$\frac{\partial J_p(\mathbf{a})}{\partial \mathbf{a}}=-\sum _{\mathbf{y}\in Y}\mathbf{y}$$
• 根据梯度下降，有如下更新准则
  $${\mathbf{a}}_{k+1}={\mathbf{a}}_k+{\eta }_k\sum _{\mathbf{y}\in Y_k}\mathbf{y}$$
  这里, ${\mathbf{a}}_{k+1}$ 是当前迭代的结果, ${\mathbf{a}}_k$ 是前一次迭代的结果, $Y_k$ 是被 ${\mathbf{a}}_k$ 错分的样本集合, ${\eta }_k$ 为步长因子 (更新动力因子, 学习率)。
• 感知准则算法（Batch Perceptron）（伪代码）

$$\begin{array}{rl}& \text{ begin initialize: }\mathbf{a},\eta \text{, certain }\theta \text{ (small value), }k=0\\ & \begin{array}{ll}\text{ do }k\leftarrow k+1& \\ \mathbf{a}=\mathbf{a}+{\eta }_k{\sum }_{\mathbf{y}\in Y(k)}\mathbf{y}& //Y(k)=Y_k\\ \text{ until }\left|{\eta }_k\sum \mathbf{y}\right|<\theta ,\mathbf{y}\in Y_k& //\text{ 一个较松的停止条件 }\\ \text{ return }\mathbf{a}& \end{array}\\ & \text{ end }\end{array}$$

• 之所以称为 “batch perception” 是因为在迭代过程中同时考虑多个样本（每一步所有错分样本都参与更新）。计算复杂度低, 能以较快的速度收敛到极小值点
• 可变增量批处理修正方法（Batch Variable-Increment Perceptron）
   begin initialize:  a , η 0 , k = 0  do  k ← k + 1 (   m o d   n ) Y k = { } , j = 0  do  j ← j + 1  if  y j  is misclassified, then append  y j  to  Y k  until  j = n a = a + η k ∑ y ∈ Y ( k ) y  //发现所有错分, 然后再修正   until  Y k = { }  /直到所有样本均正确分类   return  a \begin{aligned} & \text { begin initialize: } \mathbf{a}, \eta_0, k=0 \\ & \qquad \begin{aligned} & \text { do } k \leftarrow k+1(\bmod n) \\ & \qquad Y_k=\{\}, j=0 \\ & \qquad \text { do } j \leftarrow j+1 \\ & \qquad \qquad \text { if } \mathbf{y}_j \text { is misclassified, then append } \mathbf{y}_j \text { to } Y_k \\ & \qquad \text { until } j=n \\ & \qquad \mathbf{a}=\mathbf{a}+\eta_k \sum_{\mathbf{y} \in Y(k)} \mathbf{y} \text { //发现所有错分, 然后再修正 } \\ & \text { until } Y_k=\{\} \text { /直到所有样本均正确分类 } \\ & \text { return } \mathbf{a}\\ \end{aligned} \end{aligned} ​ begin initialize: a,η0​,k=0​ do k←k+1(modn)Yk​={},j=0 do j←j+1 if yj​ is misclassified, then append yj​ to Yk​ until j=na=a+ηk​y∈Y(k)∑​y //发现所有错分, 然后再修正  until Yk​={} /直到所有样本均正确分类  return a​​
• 区别就是每一次都要重新计算错分样本
• 由于所有被 ${\mathbf{a}}_k$ 错分的样本必然位于以 ${\mathbf{a}}_k$ 为法向量的超平面的负侧, 所以这些样本的和也必然在该侧
• ${\mathbf{a}}_{k+1}$ 在更新的过程中, 会向错分类样本之和靠近, 因而朝着有利的方向移动（旋转）。一旦这些错分样本点穿过超平面, 就正确分类了。
• 对于线性可分的样本集, 算法可以在有限步内找到最优解。收敛速度取决于初始权向量和步长

• 固定增量单样本修正方法（Fixed-Increment Single-Sample Perceptron）
  $$\begin{array}{rl}& \text{ begin initialize: }\mathbf{a},k=0\\ & \text{ do }k\leftarrow k+1(\mathrm{mod}n)\\ & \text{ if }{\mathbf{y}}^k\text{ is misclassified by a, then }\mathbf{a}=\mathbf{a}+{\mathbf{y}}^k\\ & \text{ until all patterns properly classified }\\ & \text{ return }\mathbf{a}\\ & \text{ end }\end{array}$$

• 每次迭代只考虑一个错分样本 ${\mathbf{y}}^k$, 梯度下降法可以写成: ${\mathbf{a}}_{k+1}={\mathbf{a}}_k+{\eta }_k{\mathbf{y}}^k$ 。考虑固定增量, 即令 ${\eta }_k=1$ ：“固定增量” 并不改变分类决策, 相当于将样本作了一个 $1/{\eta }_k$ 的缩放。

• 算法解释：如果 ${\mathbf{a}}_k$ 把 ${\mathbf{y}}_k$分错：
  $${\left({\mathrm{a}}_k\right)}^T{\mathrm{y}}^k\le 0$$
  $${\mathbf{a}}_{k+1}={\mathbf{a}}_k+{\mathbf{y}}^k$$
  $${\left({\mathbf{a}}_{k+1}\right)}^T{\mathbf{y}}^k={\left({\mathbf{a}}_k\right)}^T{\mathbf{y}}^k+{\Vert {\mathbf{y}}^k\Vert |}^2$$
  ${\left({\mathbf{a}}_{k+1}\right)}^T{\mathbf{y}}^k$ 在原来的基础上增加了一个正数: ${\Vert {\mathbf{y}}^k\Vert }^2$。加着加着不就变正了吗，变正了不就正确分类了吗

• 可变增量单样本修正方法（Variable-Increment Perceptron with Margin）
  $${\mathbf{a}}_{k+1}={\mathbf{a}}_k+{\eta }_k{\mathbf{y}}^k$$
  $$\begin{array}{rl}& \text{ begin initialize: a, margin }b,{\eta }_0,k=0\\ & \text{ do }k\leftarrow k+1(\mathrm{mod}n)\\ & \text{ if }{\mathbf{a}}^T{\mathbf{y}}^k\le \mathrm{b}\text{, then }\mathbf{a}=\mathbf{a}+{\eta }_k{\mathbf{y}}^k\\ & \text{ until }{\mathbf{a}}^T{\mathbf{y}}^k>b\text{ for all }k\\ & \text{ return }\mathbf{a}\\ & \text{ end }\end{array}$$

6. 感知准则函数的收敛性

• 在样本线性可分的情形下, 固定增量单样本权向量修正方法收敛, 并可得到一个可行解。
• 设 $\mathbf{a}$ 是一个解向量, 只要证明 $\Vert {\mathbf{a}}_{k+1}-\mathbf{a}\Vert <\Vert {\mathbf{a}}_k-\mathbf{a}\Vert$ 即可

【证明】设 $\mathbf{a}$ 是一个解向量, 对于任意一个正的标量 $\alpha ,\alpha \mathbf{a}$ 也为一个可行解, 于是有:
$$\begin{array}{c}{\mathbf{a}}_{k+1}-\alpha \mathbf{a}=\left({\mathbf{a}}_k-\alpha \mathbf{a}\right)+{\mathbf{y}}^k\\ {\Vert {\mathbf{a}}_{k+1}-\alpha \mathbf{a}\Vert }^2={\Vert {\mathbf{a}}_k-\alpha \mathbf{a}\Vert }^2+2{\left({\mathbf{a}}_k-\alpha \mathbf{a}\right)}^T{\mathbf{y}}^k+{\Vert {\mathbf{y}}^k\Vert }^2\end{array}$$
由于 ${\mathbf{y}}^k$ 被错分, 有 ${\left({\mathbf{a}}_k\right)}^T{\mathbf{y}}^k\le 0$ 。但 ${\mathbf{a}}^T{\mathbf{y}}^k>0$, 于是:
$${\Vert {\mathbf{a}}_{k+1}-\alpha \mathbf{a}\Vert }^2\le {\Vert {\mathbf{a}}_k-\alpha \mathbf{a}\Vert }^2-2\alpha {\mathbf{a}}^T{\mathbf{y}}^k+{\Vert {\mathbf{y}}^k\Vert }^2$$
因此, 寻找一个合适的 $\alpha$, 满足 ${\Vert {\mathbf{a}}_{k+1}-\alpha \mathbf{a}\Vert }^2\le {\Vert {\mathbf{a}}_k-\alpha \mathbf{a}\Vert }^2$ 即可
回忆一下，$a<b+c$，要得到 $a<b$，$c$ 越大越不利（极端一点，$c<0$直接就得到了）。所以这边假设最坏的情况，令
$${\beta }^2=\underset{i=1,\dots ,n}{\max }{\Vert {\mathbf{y}}_i\Vert }^2,\gamma =\underset{i}{\min }{\mathbf{a}}^T{\mathbf{y}}_i$$
$${\Vert {\mathbf{a}}_{k+1}-\alpha \mathbf{a}\Vert }^2\le {\Vert {\mathbf{a}}_k-\alpha \mathbf{a}\Vert }^2-2\alpha \gamma +{\beta }^2$$
令$\alpha ={\beta }^2/\gamma$
$$\begin{array}{rl}& {\Vert {\mathbf{a}}_{k+1}-\alpha \mathbf{a}\Vert }^2\le {\Vert {\mathbf{a}}_k-\alpha \mathbf{a}\Vert }^2-{\beta }^2\\ & {\Vert {\mathbf{a}}_{k+1}-\alpha \mathbf{a}\Vert }^2<{\Vert {\mathbf{a}}_k-\alpha \mathbf{a}\Vert }^2\end{array}$$
因此, 每次迭代, 当前解离可行解越来越近。经过 $k+1$ 次迭代后:
$${\Vert {\mathbf{a}}_{k+1}-\alpha \mathbf{a}\Vert }^2\le {\Vert {\mathbf{a}}_1-\alpha \mathbf{a}\Vert }^2-k{\beta }^2$$
由于 $\Vert {\mathbf{a}}_{k+1}-\alpha \mathbf{a}\Vert$ 总是非负的, 所以至多经过如下次更正即可:
$$k_0={\Vert {\mathbf{a}}_1-\alpha \mathbf{a}\Vert }^2/{\beta }^2$$