Python实现BP网络并进行语音识别（二）

---

title: Python实现BP网络并进行语音识别（二）
date: 2019-06-09 20:45:40
tags: [python, BP, 语音识别]

前言

BP算法作为神经网络的经典算法，理解其原理非常重要，我将从原理开始讲起，然后过渡到代码实现。

一：BP算法

1.1 反向传播算法和 BP 网络简介

误差反向传播算法简称反向传播算法（即 BP 算法）。反向传播算法于1986 年由 David E. Rumelhart和 James L. McClelland 发表于书籍 Parallel Distributed Processing 中。使用反向传播算法的多层感知器又称为 BP 神经网络。
BP 算法是一个迭代算法，它的基本思想为：
(1) 先计算每一层的状态和激活值，直到最后一层（即信号是前向传播的）；
(2) 计算每一层的误差，误差的计算过程是从最后一层向前推进的（这就是反向传播算法名字的由来）；
(3) 更新参数（目标是误差变小），迭代前面两个步骤，直到满足停止准则（比如相邻两次迭代的误差的差别很小）。

下面以三层感知器（即只含有一个隐藏层的多层感知器）为例介绍“反向传播算法（BP 算法）”。

三层感知器如图 1 所示。例子中，输入数据 $X={\left(x_1,x_2,x_3\right)}^T$是 3 维的。对于第一层，可以认为$(a_i^1=x_i)$唯一的隐藏层有 3 个节点，输出数据是 2 维的。

1.2 信息前向传播

显然，图 1 所示神经网络的第 2 层神经元的状态及激活值可以通过下面的计算得到：
$$z_1^2=W_{11}^2{x}_1+W_{12}^2{x}_2+W_{13}^2{x}_3+b_1^2$$
$$z_2^2=W_{21}^2{x}_1+W_{22}^2{x}_2+W_{23}^2{x}_3+b_2^2$$
$$z_3^2=W_{31}^2{x}_1+W_{32}^2{x}_2+W_{33}^2{x}_3+b_3^2$$
$$a_1^2=f\left(z_1^2\right)$$
$$a_2^2=f\left(z_2^2\right)$$
$$a_1^2=f\left(z_1^2\right)$$

类似地，第 3 层神经元的状态及激活值可以通过下面的计算得到：
$$z_1^3=W_{11}^3{x}_1+W_{12}^3{x}_2+W_{13}^3{x}_3+b_1^3$$
$$z_2^3=W_{21}^3{x}_1+W_{22}^3{x}_2+W_{23}^3{x}_3+$$