神经网络与深度学习（一）

1.概述

1.1人工神经网络定义

神经网络（Neural Network）最早由心理学家和神经学家开创，旨在寻求开发和检验神经的计算模拟。它是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能模拟生物神经系统对真实世界物体所作出的交互反应。今天的“神经网络”已是一个相当大的、多学科交叉的学科领域。神经网络可以用于分类（预测给定元组的类标号）和数值预测（预测连续值输出）等。

1.2神经网络与深度学习发展历史

神经网络与深度学习发展历史主要可以分为三个时期：推理期、知识期和学习期。其中机器学习还经历了两次寒冬。

推理期：从1956到1974年，出现看第一个机器人和智能软件，AI诞生；

第一次寒冬：从1974年到1980年，人们对AI的发展丧失信心，研究的经费也大大减少；

知识期：从1980到1987年，专家系统的研发和神经网络的突破让AI再次进入新高潮，BP算法和多层神经网络出现；

第二次寒冬：从1987到1993年，因为缺少AI的实际应用，AI再次淡出人们的视线；

学习期：从1993年至今，统计学习、大数据、深度学习等技术的出现让AI得以应用和进度，AI持续发展。

1.3神经网络与深度学习应用

神经网络与深度学习应用趋势集中再六个区域，包括计算机视觉，机器学习，图像识别，语音识别，机器人和自然语言处理。

神经网络与深度学习技术应用也有很多：自动规划、调度与配置，自动程序设计，机器翻译，智能控制，智能决策，智能制造，智能人机接口，图像识别，数据挖掘，机器博弈，双足智能机器人，无人作战系统，航天领域等方面均有应用。

2.线性分类与感知机

2.1线性回归

线性回归定义：利用数理统计中回归分析，来确定两种或两种以上变量间相 互依赖的定量关系的一种统计分析方法。

线性回归要素：

训练集(training set)或者训练数据 (training data), 是我们流程中的输入数据，一般称为 ；

输出数据，一般称为 ；

拟合的函数（或者称为假设或者模型）：一般写做 ； 如果是直线，则为;

训练数据的条目数(training set)：一条训练数据是由一对输 入数据和输出数据组成的，输入数据的维度(特征的个数， features) 。

学习过程：

数学计算过程：

若扩展问题为n维问题，即回归与n个因素有关，令

则有

此时的回归问题转换为求解系数向量使代价函数最小，代价函数为

对J求偏导，并使之为0，则可得到线性回归解析解为

2.2线性二分类

定义：线性分类器则透过特征的线性组合来做出分类决定，以达到 此种目的。简言之，样本通过直线(或超平面)可分

线性分类与线性回归差别： 输出意义不同：属于某类的概率<->回归具体值 ； 参数意义不同：最佳分类直线<->最佳拟合直线 ； 维度不同：前面的例子中，一个是一维的回归，一个是二维 的分类。

为了得到概率，使结果再0-1之间，需要作函数变换，使用的函数为Sigmoid函数。

数学求解：

类似于线性分类问题 构造代价函数，其中

。

为使代价函数最小，使用梯度下降法计算超平面参数

2.3对数回归与多分类回归

2.4神经元模型

Spiking模型

Integrate-and-fire模型

M-P模型

单神经元模型：

作用函数：

非对称型Sigmoid函数

对称型Sigmoid函数

对称型阶跃函数

Hebb规则：

连接权值的调整量与输入与输出的乘积成正比 

2.5感知机模型

定义及原理：

感知机(Perceptron)是1957年，由Rosenblatt提出，是神经网络和支 持向量机的基础。

计算步骤：

3.BP神经网络

3.1多层感知机

单层感知机的问题是无法进行非线性问题的求解，要想解决可以使用多层感知机。

多层感知器网络定理： 定理1 若隐层节点（单元）可任意设置，用三层阈值节点的 网络，可以实现任意的二值逻辑函数。 定理2 若隐层节点（单元）可任意设置，用三层S型非线性特 性节点的网络，可以一致逼近紧集上的连续函数或按 范数逼近紧 集上的平方可积函数 。

3.2BP算法

多层前馈网络：

多层前馈网络的反向传播 （ BP） 学习算法,简称BP算法,是有导师的学习,它是梯度下降法在多层前馈网中的应用。网络结构： 见图， u、 y是网络的输入、 输出向量， 神经元用节点表示， 网络由输入层、 隐层和输出层节点组成， 隐层可一层， 也可多层。（图中是单隐层),前层至后层节点通过权联接。由于用BP学习算法， 所以常称BP神经网络。

BP算法：

BP学习算法由正向传播和反向传播组成。

正向传播是输入信号从输入层经隐层,传向输出层， 若输出层得到了期望的输出，则学习算法结束;否则,转至反向传播。

反向传播是将误差(样本输出与网络输出之差)按原联接通路反向计算,由梯度下降法调整各层节点的权值和阈值,使误差减小。

计算过程：

3.3算法评述

BP算法优点:

（1）学习完全自主；

（2）可逼近任意非线性函数。

BP算法缺点：

（1）算法非全局收敛；

（2）收敛速度慢；

（3）学习速率的选择问题；

（4）神经网络层数节点数不易确定。