二、人工神经网络（上）

                                                                      人工神经网络（上）

神经网络的思想起源

神经元的原理

神经网络结构

正向传播算法

怎样用于实际问题

反向传播算法概述

算法的历史

神经网络训练时的优化目标函数

几个重要的复合函数求导公式

算法的推导

算法的总结

工程实现问题

 

1、神经网络的思想起源

人类的大脑由大约800亿个神经元组成

这些神经元由突触与其他神经元相互谅解，交换电信号和化学信号

大脑通过神经元之间的协作完成各种功能

神经元之间的连接关系是通过进化、生长发育和后天刺激形成的

人工神经网络

受动物神经系统的启发，是一种仿生的方法。但只是简单的模仿

是感知器模型、Logistic回归的进一步发展

2、神经元的原理

先加权，再激活

3、sigmoid激活函数

定义域：负无穷->正无穷

值域：0-1

单调性：单调递增

4、神经网络结构

多层前馈型感知网络

输入层 隐含层 输出层

 

5、正向传播算法

完整的正向传播算法

 

神经网络本质上是一个多层复合函数

通过调整权重和偏置项实现不同的映射

权重和偏置项的值通过训练得到

 

怎样用于实际问题

分类问题-输入值为特征向量或原始数据，输出值为one-hot编码

回归问题-输出值为回归函数值

 

对于分类问题，分类结果为输出层神经元的最大值

对于回归问题，直接是输出层的值

 

分类问题-手写数字图像识别

回归问题-预测人脸关键点

神经网络直接为输入图像预测出关键点的坐标(x,y)

6、反向传播算法简介

解决神经网络参数求导问题

源自微积分中多元函数求导的链式法则

与梯度下降法配合，完成网络的训练

 

反向传播算法并不是用于学习整个神经网络的算法，而是仅用于计算梯度的算法

 

以3层网络为例：

 

 

神经网络的权重和偏置参数通过训练得到

训练的目标是最小化训练样本的预测误差

以均方误差为例（也叫欧氏距离）：

也可以写为对单个样本损失的均值：

如果对所有参数的梯度值已经计算出来，则可以用梯度下降法更新：

现在的问题是目标函数是一个复合函数，每层都有权重矩阵和偏置向量，如何计算损失函数对他们的导数值？

欧氏距离损失函数的梯度值

 

多元函数求导的链式法则

问题1：

 

问题2：

 

问题3：

问题4：

问题5：

雅克比矩阵

又可以用下面的进行解释

 

反向传播

 

7、反向传播算法：

神经网络的训练算法可以总结为

         复合函数求导+梯度下降法

梯度下降法有几种不同的实现

         单样本模式

         批量模式

除梯度下降法以外，还可以采用二阶技术，如牛顿法、随机梯度下降法

 

8、工程实现问题

激活函数值，导数值，在正向传播的时候已经计算出来，存储备用

编程语言中的向量和矩阵按行存储，因此计算公式有所变化