神经网络与深度学习周总结（一）

1.绪论

        人工智能 (Artificial Intelligence)：是用机器去实现所有目前必须借助人类智慧才能实现的任务。其具体研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统。

        人工神经网络 (ANN)：是从微观结构与功能上模拟人脑神经系统而建立的一类模型，是模拟人的智能的一条途径。信息处理由人工神经元间的相互作用来实现，由联接权来传递，具有学习能力、自适应性、联接强度的可变性。

        神经网络与深度学习发展历史主要可以分为三个时期：推理期、知识期和学习期。其中机器学习还经历了两次寒冬。

        推理期：从1956到1974年，出现看第一个机器人和智能软件，AI诞生；

        第一次寒冬：从1974年到1980年，人们对AI的发展丧失信心，研究的经费也大大减少；

        知识期：从1980到1987年，专家系统的研发和神经网络的突破让AI再次进入新高潮，BP算法和多层神经网络出现；

        第二次寒冬：从1987到1993年，因为缺少AI的实际应用，AI再次淡出人们的视线；

        学习期：从1993年至今，统计学习、大数据、深度学习等技术的出现让AI得以应用和进度，AI持续发展。

        神经网络与深度学习应用趋势集中再六个区域，包括计算机视觉，机器学习，图像识别，语音识别，机器人和自然语言处理。

        神经网络与深度学习技术应用也有很多：自动规划、调度与配置，自动程序设计，机器翻译，智能控制，智能决策，智能制造，智能人机接口，图像识别，数据挖掘，机器博弈，双足智能机器人，无人作战系统，航天领域等方面均有应用。

2.线性分类与感知机

2.1线性回归

        线性回归定义：

        利用数理统计中回归分析，来确定两种或两种以上变量间相 互依赖的定量关系的一种统计分析方法。

        线性回归要素：

        训练集(training set)或者训练数据 (training data), 是我们流程中的输入数据，一般称为x；

        输出数据，一般称为y； 

        拟合的函数（或者称为假设或者模型）：一般写做y=h(x) ； 如果是直线，则为y=kx+b;

        训练数据的条目数(training set)：一条训练数据是由一对输 入数据和输出数据组成的，输入数据的维度n(特征的个数， features) 。

        线性回归学习过程：

        数学计算过程：

        

         则有

        此时的回归问题转换为求解系数向量使代价函数最小，代价函数为

         

         对J求偏导，并使之为0，则可得到线性回归解析解为

        

2.2线性二分类

        线性二分类的定义：线性分类器则透过特征的线性组合来做出分类决定。

        线性分类与线性回归差别：

        a. 输出意义不同：属于某类的概率<->回归具体值

        b. 参数意义不同：最佳分类直线<->最佳拟合直线

        c.维度不同：前面的例子中，一个是一维的回归，一个是二维的分类.为了得到概率，使结果再0-1之间，需要作函数变换，使用的函数为Sigmoid函数。

        线性二分类的数学求解：

        类似于线性分类问题 构造代价函数，其中。为使代价函数最小，使用梯度下降法计算超平面参数：

 

 

2.3对数回归与多分类回归

 

2.4神经元模型

        神经元模型的分类：

        a.Spiking模型

         b.Integrate-and-fire模型

         c.M-P模型

         单神经元模型：

2.5感知机模型

        感知机定义及原理：

        感知机(Perceptron)是1957年，由Rosenblatt提出，是神经网络和支 持向量机的基础。

 

        计算步骤：

3.BP神经网络

3.1算法概述

        多层前馈网络的反向传播（BP）学习算法，简称BP算法，具备导师学习，在1986年由Rumelhart和McClelland为首的科学家提出的概念，是一种按照误差逆向传播算法训练的多层前馈神经网络，它是梯度下降法在多层前馈网络中的应用。

        BP学习算法由正向传播和反正传播组成。其网络结构视图如下所示。u、y是网络的输入、输出向量，神经元用节点表 示，网络由输入层、隐层和输出层节点组成。隐层可一层，也可多 层（图中是单隐层），前层至后层节点通过权联接 。

        正向传播是输入信号从输入层经隐层，传 向输出层，若输出层得到了期望的输出， 则学习算法结束；否则，转至反向传播。 反向传播是将误差(样本输出与网络输出 之差）按原联接通路反向计算，由梯度 降法调整各层节点的权值和阈值，使误差 减小 。

3.2算法推导

        设计算法的输入输出样本为

        总共N个样本。网络训练的目的便是对每一个输入样本，进行吧调整网络参数，使输出样本的均误差最小化。因此，可以选取一下公式

 

         在考虑迭代算法的前提下，使用泰勒级数展开，可以列写为

         之后对三层神经网络进行考虑设计。对于前向传播函数，考虑第i个神经元，可以表示为

         在假设只有一层隐层的前提下，输出函数可以表示为

         而对于误差反传的输出曾，根据链式1求导法则

         可以对上式化简，最终可以表示为

         注意到下图所示的关系式

        网络隐含层的误差反传可以 表示为

 

         因此对误差进行反向传播，综合上述分析，可以推导出下述表达式、

3.3算法特点

        BP神经网络无论在网络理论还是在性能方面已比较成熟。其突出优点就是具有很强的非线性映射能力和柔性的网络结构。网络的中间层数、各层的神经元个数可根据具体情况任意设定，并且随着结构的差异其性能也有所不同。但是BP神经网络也存在以下的一些主要缺陷。