反向传播算法

神经网络在 $(x_k, y_k）$ 上的均方误差为：

$$E_k = \frac{1}{2}\sum_{j=1}^n \left(\hat{y}_j^k - y_j^k\right)^2$$

## 计算 $\Delta w_{hj}$ ##

$$\Delta w_{ji} = -\eta \frac{\partial E_k}{\partial w_{ji}}$$

计算：

$$\frac{\partial E_k}{\partial w_{ji}} = \frac{\partial E_k}{\partial \hat{y}_j^k} \cdot \frac{\partial \hat{y}_j^k}{\partial\beta_j} \cdot \frac{\partial \beta_j}{w_{ji}}$$

第一项：

$$\frac{\partial{E_k}}{\partial \hat{y}_j^k} = \hat{y}_j^k - y_j^k$$

第二项：

$$\hat{y}_j^k = sigmoid(\beta_j - \theta_j)$$

$$\frac{\partial \hat{y}_j^k}{\partial \beta_j} = \hat{y}_j^k (1 - \hat{y}_j^k)$$
第三项：
$$\beta_j = \sum_{h=1}^q w_{hj}b_h$$
$$\frac{\partial \beta_j}{\partial w_{hj}} = b_h$$

所以：

$$\frac{\partial{E_k}}{\partial w_{hj}} = (\hat{y}_j^k - y_j^k) \hat{y}_j^k (1 - \hat{y}_j^k)b_h$$

$$\Delta w_{hj} = -\eta (\hat{y}_j^k - y_j^k) \hat{y}_j^k (1 - \hat{y}_j^k)b_h$$