机器学习--学习笔记（三）--神经网络

1.神经网络模型

       神经网络由一个输入层、输出层以及一个或多个隐藏层组成，模型图如下所示。

      

                                                 图1

其中，Layer1为输入层，Layer2为隐藏层，Layer3为输出层。

 

2.预测：前向传播算法

      

如果把输入层设为第1层，则第1层隐藏层为第2层，以此类推至输出层。层与层之间的连线具有权重值，设第i层到第i+1层的权重值向量为θ⁽ⁱ⁾，a⁽ⁱ⁾为代表第i层各个单元值的向量，取z⁽ⁱ⁾= θ⁽ⁱ⁾*a⁽ⁱ⁾，则a⁽ⁱ⁺¹⁾=g(z⁽ⁱ⁾)，其中a₀⁽ⁱ⁾=1，我们称之“bias 变量”；g(z)是sigmoid function, 其公式为g(z)=1/(1+exp(−z))。最后可以根据模型对输入数据做预测。以图1所示模型为例，计算公式如下：

 

3.训练：后向传播算法

取损失函数如下：

其中y⁽ⁱ⁾是数据集中第i个样本的类别向量，例如数据集共有3个类别，则y⁽ⁱ⁾=[1, 0, 0]^T或[0, 1, 0]^T或[0, 0, 1]^T ，分别表示对应样本的类别为第1、2、3类。

取δ_j^(l)=第l层第