机器学习笔记（XV）神经网络（II）感知机和多层网络

感知机(Perceptron)

组成

感知机(Perceptron)由两层神经元组成
输入层：接收外界的输入信号，传递给输出层，
输出层：输出层时$M\text{-}P$神经元（阈值逻辑神经元）
图解：

感知机和与或非运算

前提

输入向量：

$$\mathbf{x}=(x_1;x_2)=\left(\begin{aligned}\begin{matrix}x_1\\x_2\end{matrix}\end{aligned}\right)$$
权值向量：
$$\mathbf{w}=(w_1;w_2)=\left(\begin{aligned}\begin{matrix}w_1\\w_2\end{matrix}\end{aligned}\right)$$
输出结果：
$$y=f\left(\mathbf{x}^T\mathbf{w}-\theta\right)=f\left(\sum_iw_ix_i-\theta\right)$$
$$f=\mathop{sgn}(x)=\left\{\begin{aligned} 1,x\geq0;\\ 0,x\lt0; \end{aligned}\right.$$

• 与运算：$(x_1\wedge x_2)$:令$w_1=w_2=1,\theta=2$,则$y=f(1\cdot x_1+1\cdot x_2-2)$，则：$x_1=x_2=1$时,$y=1$;
• 或运算：$x_1\vee x_2$:令$w_1=w_2=1,\theta=0.5$,则$y=f(1\cdot x_1+1\cdot x_2-0.5)$，则：$x_1=1$或者$x_2=1$时,$y=1$;
• 非运算：$\neg x_1$:令$w_1=-0.6$,$w_2=0,\theta=-0.5$,则$y=f(-0.6\cdot x_1+0\cdot x_2-0.5)$，则：$x_1=1$,$y=0$;$x_1=0$,$y=1$;(其实这里$w_1$可以取其他值)

权值调整

权重和阈值可以通过学习得到，如果将$\theta$作为固定输入为$\text{-}1.0$的”哑结点”其对应的权重为$w_{n+1}$,这样权重和阈值的学习可以统一为权重学习。
输入向量：

$$\hat{\mathbf{x}}=(x_1;\cdots;x_n;-1)=\left(\begin{aligned}\begin{matrix}x_1\\\vdots\\x_n\\-1\end{matrix}\end{aligned}\right)$$
权值向量：
$$\hat{\mathbf{w}}=(w_1;\cdots;w_n;\theta)=\left(\begin{aligned}\begin{matrix}w_1\\\vdots\\w_n\\\theta\end{matrix}\end{aligned}\right)$$
输出结果：
$$y=f\left(\hat{\mathbf{x}}^T\hat{\mathbf{w}}\right)$$

调整方法

$$w_i\leftarrow w_i+\Delta{w_i},\\ \Delta{w_i}=\eta{(y-\hat{y})x_i}$$
其中 $\eta$称为学习率

缺点

不能处理异或问题，

异或问题

两层感知机：