机器学习笔记——人工神经网络（1）

模型表示

简单的神经网络表示

$$\begin{bmatrix}x_1 \newline x_2 \newline x_3 \newline \end{bmatrix}\rightarrow\begin{bmatrix}\ \ \ \newline \end{bmatrix}\rightarrow h_\theta(x)$$
神经网络的输入是特征 $x_1,x_2,x_3$，输出是假设函数的结果
在神经网络中，仍采用同样的逻辑函数 $h_\theta(x)=\frac{1}{1+e^{-\theta^Tx}}$
在神经网络中，也称逻辑函数为激励函数， $\theta$参数为权重。

$x_0$为偏置单元，它的值总是等于1
上图中，输入节点Layer1称为输入层，输出假设函数结果的Layer3称为输出层，介于输入层与输出层之间的称为隐藏层。
位于隐藏层的节点(或神经元)称为激励单元。
$$\begin{bmatrix}x_0 \newline x_1 \newline x_2 \newline x_3\end{bmatrix}\rightarrow\begin{bmatrix}a_1^{(2)} \newline a_2^{(2)} \newline a_3^{(2)} \newline \end{bmatrix}\rightarrow h_\theta(x)$$
$$\begin{align*}& a_i^{(j)} = \text{"activation" of unit $i$ in layer $j$} \newline& \Theta^{(j)} = \text{matrix of weights controlling function mapping from layer $j$ to layer $j+1$}\end{align*}$$
$$\begin{align*} a_1^{(2)} &= g(\Theta_{10}^{(1)}x_0 + \Theta_{11}^{(1)}x_1 + \Theta_{12}^{(1)}x_2 + \Theta_{13}^{(1)}x_3) \newline a_2^{(2)} &= g(\Theta_{20}^{(1)}x_0 + \Theta_{21}^{(1)}x_1 + \Theta_{22}^{(1)}x_2 + \Theta_{23}^{(1)}x_3) \newline a_3^{(2)} &= g(\Theta_{30}^{(1)}x_0 + \Theta_{31}^{(1)}x_1 + \Theta_{32}^{(1)}x_2 + \Theta_{33}^{(1)}x_3) \newline h_\Theta(x) = a_1^{(3)} &= g(\Theta_{10}^{(2)}a_0^{(2)} + \Theta_{11}^{(2)}a_1^{(2)} + \Theta_{12}^{(2)}a_2^{(2)} + \Theta_{13}^{(2)}a_3^{(2)}) \newline \end{align*}$$
假设在Layer j有 $s_j$个单元，Layer j+1有 $s_{j+1}$个单元，那么 $\Theta^{(j)}$表示从第j层到第j+1层的权重矩阵，是一个 $s_{j+1} \times (s_j+1)$的矩阵

向量化计算
令

$$\begin{align*} z_1^{(2)} &= \Theta_{10}^{(1)}x_0 + \Theta_{11}^{(1)}x_1 + \Theta_{12}^{(1)}x_2 + \Theta_{13}^{(1)}x_3 \newline z_2^{(2)} &= \Theta_{20}^{(1)}x_0 + \Theta_{21}^{(1)}x_1 + \Theta_{22}^{(1)}x_2 + \Theta_{23}^{(1)}x_3 \newline z_3^{(2)} &= \Theta_{30}^{(1)}x_0 + \Theta_{31}^{(1)}x_1 + \Theta_{32}^{(1)}x_2 + \Theta_{33}^{(1)}x_3 \end{align*}$$
即, ,得到如下表示
$$\begin{align*}a_1^{(2)} = g(z_1^{(2)}) \newline a_2^{(2)} = g(z_2^{(2)}) \newline a_3^{(2)} = g(z_3^{(2)}) \newline \end{align*}$$
$x$与$z_j$的向量形式为
$$\begin{align*}x = \begin{bmatrix}x_0 \newline x_1 \newline\cdots \newline x_n\end{bmatrix} , &z^{(j)} = \begin{bmatrix}z_1^{(j)} \newline z_2^{(j)} \newline\cdots \newline z_n^{(j)}\end{bmatrix}\end{align*}$$
令 $x=a^{(1)}$,可以写出向量表示的等式 $z^{j}=\Theta^{(j-1)}a^{(j-1)}$, $\Theta^{(j-1)}$是 $s_j\times (n+1)$的矩阵， $a^{(j-1)}$是 $(n+1)\times1$的矩阵，得出 $z^{j}$是 $s_j\times1$的矩阵， $a^{(j)}=g(z^{(j)})$把函数g作用到 $z^{(j)}$的每一个元素上。
在计算了 $a^{(j)}$后，增加偏置单元 $a_0^{(j)}=1$，得到 $z^{j+1}=\Theta^{(j)}a^{(j)}$，进一步计算出最终结果 $$h_\Theta(x)=a^{(j+1)}=g(z^{(j+1)})$$

Example XNOR

$$\begin{align*}AND:\newline\Theta^{(1)} &=\begin{bmatrix}-30 & 20 & 20\end{bmatrix} \newline NOR:\newline\Theta^{(1)} &= \begin{bmatrix}10 & -20 & -20\end{bmatrix} \newline OR:\newline\Theta^{(1)} &= \begin{bmatrix}-10 & 20 & 20\end{bmatrix} \newline\end{align*}$$
同或XNOR可以通过与AND、异或NOR、或OR组合得到，在神经网络Layer2计算AND和NOR，再通过Layer3输出层计算OR最终得到XNOR的输出。
$$\begin{align*}\begin{bmatrix}x_0 \newline x_1 \newline x_2\end{bmatrix} \rightarrow\begin{bmatrix}a_1^{(2)} \newline a_2^{(2)} \end{bmatrix} \rightarrow\begin{bmatrix}a^{(3)}\end{bmatrix} \rightarrow h_\Theta(x)\end{align*}$$

神经网络多类别分类

当进行多类别分类时，使假设函数$h_\Theta(x)$的输出值为一个向量。
例如对有4种类别的分类，令