神经网络与误差反向传播算法

前馈神经网络

• 前馈神经网络，是人工神经网络的一种，各神经元从输入层开始，接收前一级输入，并输出到下一级，直至输入层。整个网络中无反馈，可用一个有向无环图表示。
• 前馈神经网络采用一种单向多层结构。其中每一层包含若干个神经元，同一层的神经元之间没有相互连接，层间信息的传递只沿一个方向进行。
• 其中第一层称为输入层。最后一层为输出层。中间为隐含层。隐含层可以是一层，也可以是多层。

梯度下降

先确定一个初始点，将w按照梯度下降的方向进行调整，就会使得J(w)往更低的方向进行变化，算法的结束将是在w下降到无法继续下降为止

输出层权重改变量

批量梯度下降

每迭代一步，都要用到训练集所有的数据，它得到的是一个全局最优解

随机梯度下降

• 通过每个样本来迭代更新一次，如果样本量很大的情况，那么可能只用其中部分的样本，就已经迭代到最优解了
• SGD伴随的一个问题是噪音较BGD要多，使得SGD并不是每次迭代都向着整体最优化方向