冈萨雷斯《数字图像处理》学习笔记（6）--目标识别（基于神经网络）

一、二分类感知机

感知机模型

下图展示了二分类的感知机模型：

感知机模型决策函数：

$$f(x)=sign(\sum_{i=1}^n\omega_i x_i+\omega_{n+1})$$
其中sign(x)为符号函数，定义为如下：
$$sign(x)=\left\{\begin{matrix} 1,x>0\\ 0,x<0 \end{matrix}\right.$$

感知机学习策略

损失函数的一个自然选择是误分类点的总数。但是，这样的损失函数不是参数的连续可导函数，不易优化。损失函数的另一个选择是误分类点到超平面S的总距离，这是感知机所采用的。为此，首先写出输入空间R”中任一点 $x_0$ 到超平面S的距离(和我们初中学的点到直线的距离公式类似，只是从二维扩充到n维，下面的 b 即上面模型中的 $\omega_{n+1}$)：

$$\frac{1}{\left \| \omega \right \|}|\omega\cdot x_0+b|$$
这里， $\left \| \omega \right \|$ 是 $\omega$ 的 $L_2$ 范数。

其次，对于误分类的数据 $(x_i,y_i)$ 来说，

$$-y_i(\omega \cdot x_i+b)>0$$
成立。因为当 $\omega \cdot x_i+b>0$ 时， $y_i=-1$ ,而当 $\omega \cdot x_i+b<0$。时， $y_i=+1$。因此，误分类点 $x_i$ 到超平面S的距离是：
$$-\frac{1}{\left \| \omega \right \|} y_i(\omega \cdot x_i+b)$$
这样，假设超平面S的误分类点集合为M，且不考虑 $\frac{1}{\left \| \omega \right \|}$ （因为 $\frac{1}{\left \| \omega \right \|}$ 始终为正，不影响二分类的结果，并能简化计算） 那么损失函数可定义为:
$$L(\omega,b)=-\sum_{x_i\in M}y_i(\omega \cdot x_i +b)$$

感知机算法

感知机学习算法是误分类驱动的，具体采用随机梯度下降法。首先，任意选取一个超平面，然后用梯度下降法不断地极小化目标函数。极小化过程是一次随机选取一个误分类点使其梯度下降。
损失函数的梯度由下式给出：

$$\left\{\begin{matrix} \triangledown_wL(\omega ,b)=-\sum_{x_i\in M}y_ix_i\\ \triangledown_b L(\omega ,b)=-\sum_{x_i\in M}y_i \end{matrix}\right.$$
随机选取一个误分类点 $(x_i,y_i)$ 对 $\omega$ 和 b 更新：
$$\left\{\begin{matrix} \omega\leftarrow \omega+ \eta y_i x_i\\ b\leftarrow b+ \eta y_i \quad \end{matrix}\right.$$
其中， $\eta$ 为学习率。这样通过不断更新参数，使得损失函数逐渐下降到最小值0即可。

二、多层前馈神经网络

神经网络模型

下图 展示了神经网络的结构：

最后输出层输出的值可当做属于这个类的概率，因此哪个值高就可认为它属于这类的概率高。而每个神经元的的形式与前面讨论的感知机模型类似，只是激活函数变成了如下的 ‘S形’ 函数：

$$h_j(I_j)=\frac{1}{1+e^{\frac{-(I_j+\theta_j)}{\theta_0}}}$$
其中， $I_j$ 是网络第 j 层每个节点激活元素的输入， $\theta_j$ 是偏移量， $\theta_0$ 控制 S 函数的形状。上式对应的S函数如下：

任何一层中的节点输入都是来自前一层输出的加权和，令 K 层为 J 层的前一层，则有：
$$I_j=\sum_{k=1}^{N_k} w_{jk}O_k=\sum_{k=1}^{N_k} w_{jk} h_k(I_k)$$
其中， $O_k$ 为第 k 层的输出
故 $h_j(I_j)$ 又可写成如下形式：
$$h_j(I_j)=\frac{1}{1+e^{\frac{-(\sum_{k=1}^{N_k} w_{jk}O_K+\theta_j)}{\theta_0}}}$$

神经网络策略

这里我们采用最简单的平方误差来定义损失函数，输出层Q中各节点的期望响应 $r_q$ 和相应的真实响应 $O_q$ 之间的总误差平方和如下：

$$E_Q=\frac{1}{2}\sum_{q=1}^{N_Q}(r_q-O_q)^2$$
其中， $N_Q$ 是输出层Q的节点数， $\frac{1}{2}$ 是为了后面取导数更为方便。

反向传播算法

以神经网络结构图为例（Q为输出层，P层在Q前一层，J层在P层前一层）。利用链式法则，我们有：

$$\begin{align} \triangle w_{qp}&= -\alpha\frac{\partial E_Q}{\partial w_{qp}}= -\alpha\frac{\partial E_Q}{\partial I_{q}} \frac{\partial I_{q}}{\partial w_{qp}}\\ &=-\alpha\frac{\partial E_Q}{\partial O_{q}} \frac{\partial O_{q}}{\partial I_{q}} \frac{\partial I_{q}}{\partial w_{qp}}\\ &=-\alpha[-(r_q-O_q)]h'_q(I_q)O_p\\ &=\alpha(r_q-O_q)h'_q(I_q)O_p\\ &=\alpha\delta_qO_p\\ \end{align}$$

其中 $\delta_q=-\frac{\partial E_Q}{\partial I_{q}}=(r_q-O_q)h'_q(I_q)$，$\triangle w_{qp}$ 即参数更新项。
上面是输出层的，同理在隐藏层（内层）中也有：

$$\triangle w_{pj}=\alpha \delta_p O_j$$
其中 $\delta_p=-\frac{\partial E_p}{\partial I_{p}}=(r_p-O_p)h'_p(I_p)$
但在隐藏层中我们无法知道 $r_p$ ， $r_p$ 只有在输出层才有意义，因此我们需要替换掉这项。
$$\delta_p=-\frac{\partial E_p}{\partial I_{p}}=-\frac{\partial E_p}{\partial O_{p}} \frac{\partial O_{p}}{\partial I_{p}} =-\frac{\partial E_p}{\partial O_{p}}h'_p(I_p)$$
而又有：
$$\begin{align} -\frac{\partial E_p}{\partial O_{p}} &= -\sum_{q=1}^{N_q} \frac{\partial E_p}{\partial I_q}\frac{\partial I_q}{\partial O_{p}}\\ &=\sum_{q=1}^{N_q}(-\frac{\partial E_p}{\partial I_q})\frac{\partial }{\partial O_p}\sum_{p=1}^{N_p}w_{qp}O_p\\ &=\sum_{q=1}^{N_q}\delta_q w_{qp} \end{align}$$
因此，我们可以得到： $\delta_p=\sum_{q=1}^{N_q}\delta_q w_{qp}h'_p(I_p)$

我们知道对于 $y=\frac{1}{1+e^{-x}}$ 这个函数，有 $y'=y(1-y)$

综上，对于输出层有：

$$\triangle w_{qp}=\alpha (r_q-O_q) O_q(1-O_q) O_p$$
对于隐藏层有：
$$\triangle w_{pj}=\alpha \sum_{p=1}^{N_p}\delta_p w_{pj}O_p(1-O_p) O_j$$