神经网络(NN)

1. 背景

神经网络有很多算法，其中最著名的算法应该是BP算法。

2. 多层向前神经网络

       1.BP算法被使用中在多层向前神经网络上。
            1.1 通过迭代性来处理训练集中的实例。 

            1.2 对比经过神经网络后输入层预测值与真实值之间

            1.3 反方向来最小化误差来更新每个连接的权重

            1.4 终止条件：权重的更新低于某个阈值、预测的错误率低于某个阈值、达到预设一定循环次数

      2 .多层向前神经网络组成

          输入层、隐藏层、输出层

• 每层由单元组成或神经单元组成
• 隐藏层的个数可以是任意个，输入和输出只有一层。
• 经过权重节点传入下一层，一层的输出是下一层的输入。
• 作为多层向前神经网络，理论上，如果有足够多的隐藏层和足够大的训练集，可以模拟出任何方程。

 3. 设计神经网络

  3.1 使用神经网络训练之前，必须确定神经网络的层数，以及每层单元的个数。

  3.2 特征向量在被传入输入层时通常被先标准化到0和1之间(为了加速学习过程)

  3.3 没有明确的规则来设计最好有多少个隐藏层

      根据实验测试和误差，以及准确来实验并改进。

 4. 交叉验证

正向例子：根据下面的图片可以很好的理解前向传播

神经元6输出是0.474.

反向计算公式：

计算误差和更新权重.