神经网络反向传播的作用,双向传播的神经网络

如何理解神经网络里面的反向传播算法

反向传播算法（Backpropagation）是目前用来训练人工神经网络（ArtificialNeuralNetwork，ANN）的最常用且最有效的算法。

其主要思想是：（1）将训练集数据输入到ANN的输入层，经过隐藏层，最后达到输出层并输出结果，这是ANN的前向传播过程；（2）由于ANN的输出结果与实际结果有误差，则计算估计值与实际值之间的误差，并将该误差从输出层向隐藏层反向传播，直至传播到输入层；（3）在反向传播的过程中，根据误差调整各种参数的值；不断迭代上述过程，直至收敛。

反向传播算法的思想比较容易理解，但具体的公式则要一步步推导，因此本文着重介绍公式的推导过程。1.变量定义上图是一个三层人工神经网络，layer1至layer3分别是输入层、隐藏层和输出层。

如图，先定义一些变量：表示第层的第个神经元连接到第层的第个神经元的权重；表示第层的第个神经元的偏置；表示第层的第个神经元的输入，即：表示第层的第个神经元的输出，即：其中表示激活函数。

2.代价函数代价函数被用来计算ANN输出值与实际值之间的误差。

常用的代价函数是二次代价函数（Quadraticcostfunction）：其中，表示输入的样本，表示实际的分类，表示预测的输出，表示神经网络的最大层数。

3.公式及其推导本节将介绍反向传播算法用到的4个公式，并进行推导。如果不想了解公式推导过程，请直接看第4节的算法步骤。

首先，将第层第个神经元中产生的错误（即实际值与预测值之间的误差）定义为：本文将以一个输入样本为例进行说明，此时代价函数表示为：公式1（计算最后一层神经网络产生的错误）：其中，表示Hadamard乘积，用于矩阵或向量之间点对点的乘法运算。

公式1的推导过程如下：公式2（由后往前，计算每一层神经网络产生的错误）：推导过程：公式3（计算权重的梯度）：推导过程：公式4（计算偏置的梯度）：推导过程：4.反向传播算法伪代码输入训练集对于训练集中的每个样本x，设置输入层（Inputlayer）对应的激活值：前向传播：，计算输出层产生的错误：反向传播错误：

谷歌人工智能写作项目：爱发猫

神经网络算法的人工神经网络

人工神经网络（ArtificialNeuralNetworks，ANN）系统是20世纪40年代后出现的写作猫。

它是由众多的神经元可调的连接权值连接而成，具有大规模并行处理、分布式信息存储、良好的自组织自学习能力等特点。

BP（BackPropagation）算法又称为误差反向传播算法，是人工神经网络中的一种监督式的学习算法。

BP神经网络算法在理论上可以逼近任意函数，基本的结构由非线性变化单元组成，具有很强的非线性映射能力。

而且网络的中间层数、各层的处理单元数及网络的学习系数等参数可根据具体情况设定，灵活性很大，在优化、信号处理与模式识别、智能控制、故障诊断等许多领域都有着广泛的应用前景。

人工神经元的研究起源于脑神经元学说。19世纪末，在生物、生理学领域，Waldeger等人创建了神经元学说。人们认识到复杂的神经系统是由数目繁多的神经元组合而成。

大脑皮层包括有100亿个以上的神经元，每立方毫米约有数万个，它们互相联结形成神经网络，通过感觉器官和神经接受来自身体内外的各种信息，传递至中枢神经系统内，经过对信息的分析和综合，再通过运动神经发出控制信息，以此来实现机体与内外环境的联系，协调全身的各种机能活动。

神经元也和其他类型的细胞一样，包括有细胞膜、细胞质和细胞核。但是神经细胞的形态比较特殊，具有许多突起，因此又分为细胞体、轴突和树突三部分。细胞体内有细胞核，突起的作用是传递信息。

树突是作为引入输入信号的突起，而轴突是作为输出端的突起，它只有一个。树突是细胞体的延伸部分，它由细胞体发出后逐渐变细，全长各部位都可与其他神经元的轴突末梢相互联系，形成所谓“突触”。

在突触处两神经元并未连通，它只是发生信息传递功能的结合部，联系界面之间间隙约为（15～50)×10米。突触可分为兴奋性与抑制性两种类型，它相应于神经元之间耦合的极性。

每个神经元的突触数目正常，最高可达10个。各神经元之间的连接强度和极性有所不同，并且都可调整、基于这一特性，人脑具有存储信息的功能。利用大量神经元相互联接组成人工神经网络可显示出人的大脑的某些特征。

人工神经网络是由大量的简单基本元件——神经元相互联接而成的自适应非线性动态系统。每个神经元的结构和功能比较简单，但大量神经元组合产生的系统行为却非常复杂。

人工神经网络反映了人脑功能的若干基本特性，但并非生物系统的逼真描述，只是某种模仿、简化和抽象。

与数字计算机比较，人工神经网络在构成原理和功能特点等方面更加接近人脑，它不是按给定的程序一步一步地执行运算，而是能够自身适应环境、总结规律、完成某种运算、识别或过程控制。

人工神经网络首先要以一定的学习准则进行学习，然后才能工作。现以人工神经网络对于写“A”、“B”两个字母的识别为例进行说明，规定当“A”输入网络时，应该输出“1”，而当输入为“B”时，输出为“0”。

所以网络学习的准则应该是：如果网络作出错误的的判决，则通过网络的学习，应使得网络减少下次犯同样错误的可能性。

首先，给网络的各连接权值赋予(0，1)区间内的随机值，将“A”所对应的图象模式输入给网络，网络将输入模式加权求和、与门限比较、再进行非线性运算，得到网络的输出。

在此情况下，网络输出为“1”和“0”的概率各为50%，也就是说是完全随机的。这时如果输出为“1”(结果正确)，则使连接权值增大，以便使网络再次遇到“A”模式输入时，仍然能作出正确的判断。

如果输出为“0”(即结果错误)，则把网络连接权值朝着减小综合输入加权值的方向调整，其目的在于使网络下次再遇到“A”模式输入时，减小犯同样错误的可能性。

如此操作调整，当给网络轮番输入若