机器学习笔记：神经网络

神经网络

神经网络包含输入层、隐藏层和输出层三层（隐藏层可以有多层）
在每个节点，我们选择一个函数，用以指示每个节点对输入的响应程度。
在神经网络中，我们通常选择S型函数（如tanh, logistic function）来计算神经元的输出。
以Logistic function为例

1. 模型表示

2. 前向反馈（Feeding Forward）

$\Theta_1,\Theta_2$分别是输入层与隐藏层、隐藏层与输出层之间的权重。
K为输出节点的个数。

正则化的损失函数（Regularized Cost Function）

without regularization

$$\begin{equation} J(\theta) = \frac{1}{m}\sum_{i=1}^{m} \sum_{k=1}^{K} [-y_k^{(i)} log((h_\theta(x^{(i)}))_k) - (1 - y_k^{(i)}) log(1 - (h_\theta(x^{(i)}))_k)] \end{equation}$$
Regularized cost function
$$\begin{equation} J(\theta) = \frac{1}{m}\sum_{i=1}^{m} \sum_{k=1}^{K} [-y_k^{(i)} log((h_\theta(x^{(i)}))_k) - (1 - y_k^{(i)}) log(1 - (h_\theta(x^{(i)}))_k)] \\ + \frac{\lambda}{2m} \left[ \sum_{j=1}^{25}\sum_{k=1}^{400} (\Theta_{j,k}^{(1)})^2 + \sum_{j=1}^{10}\sum_{k=1}^{25}(\Theta_{j,k}^{(2)})^2 \right] \end{equation}$$
本例中，输入节点个数为400，隐藏层节点个数维25，输出层节点个数为10。

梯度（Gradient）

$$\begin{equation} \frac{\partial J(\theta)}{\partial \theta_0} = \frac{1}{m} \sum_{i=1}^{m}(h_\theta(x^{(i)}) - y^{(i)})x_j^{(i)} \quad for \ j = 0 \end{equation}$$
$$\begin{equation} \frac{\partial J(\theta)}{\partial \theta_j} = \frac{1}{m} \left( {\sum_{i=1}^{m}(h_\theta(x^{(i)}) - y^{(i)})x_j^{(i)} + \lambda\theta_j} \right) \quad for \ j\geqslant 1 \end{equation}$$

前向反馈（Feed Forward）

$$\begin{aligned} Input \ Layer:\quad a^{(1)} & = x \quad(add\ a_0^{(1)})\\ Hidden\ Layer:\quad z^{(2)} & = \Theta^{(1)}a^{(1)} \\ a^{(2)} & = g(z^{(2)}) \quad(add\ a_0^{(2)})\\ Output\ Layer:\quad z^{(3)} & = \Theta^{(2)} a^{(2)} \\ a^{(3)} & = g(z^{(3)}) = h_\theta(x) \end{aligned}$$

3. 反向传播（Backpropagation）

执行步骤：
1.计算每一层输出结果与期望结果之间的差距

$$\begin{aligned} Output\ Layer:\quad \delta_j^{(3)} & = a_j^{(3)} - y_j \\ Hidden\ Layer:\quad \delta_j^{(2)} & = (\Theta^{(2)})^T \delta^{(3)} .* g'(z^{(2)}) \quad (remove\ \delta_0^{(2)}) \end{aligned}$$
2.计算每一层的累积梯度
$$\Delta^{(l)} = \Delta^{(l)} + \delta^{(l+1)} (a^{(l)})^T$$
其中l指层数
3.计算得到损失函数的梯度
$$\frac{\partial}{\partial\Theta_{i,j}^{(l)}}J(\Theta) = D_{i,j}^{(l)} = \frac{1}{m}\Delta_{i,j}^{(l)}$$
4.使用梯度下降法更新权值
$$\Theta_{i,j}^{(l)} = \Theta_{i,j}^{(l)} - \frac{\partial}{\partial \Theta_{i,j}^{(l)}} J(\Theta)$$