深度学习与神经网络课程学习总结【1】

一、概述

神经网络与深度学习是目前人工智能最为热门的一个分支。

人工智能的定义：是用机器去实现所有目前必须借助人类智慧才能实现的任务。其具体研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统。

人工智能发展的6种关键技术：

1. 自然语言处理
2. 计算机视觉
3. 机器学习
4. 机器人
5. 图像识别
6. 语音识别

二、线性分类与感知机

线性回归：

定义：利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。

线性分类：

定义：线性分类器透过特征的线性组合来做出分类决定，以达到目的。简言之，样本通过直线(或超平面)可分。

线性分类器输入：特征向量。

输出：如果是二分类问题，则为0和1，或者是属于某类的概率，即0-1之间的数。

线性分类与线性回归差别：

输出意义不同：属于某类的概率<->回归具体值

参数意义不同：最佳分类直线<->最佳拟合直线

维度不同：一个是一维的回归，一个是二维的分类

神经元与感知机：

M-P模型：

单神经元模型：

感知机模型：

感知机(Perceptron)是1957年，由Rosenblatt提出，是神经网络和支持向量机的基础。

感知机解决线性分类问题。

三、多层前馈网络与误差反传算法

XOR问题：

线性不可分问题：无法进行线性分类。Minsky 1969年提出XOR问题。

解决办法：使用多层感知机

在输入和输出层间加一或多层隐单元，构成多层感知器（多层前馈神经网络）

加一层隐节点（单元）为三层网络，可解决异或（XOR）问题，由输入得到两个隐节点、一个输出层节点的输出：

多层感知器网络有如下定理：

定理1 若隐层节点（单元）可任意设置，用三层阈值节点的网络，可以实现任意的二值逻辑函数。

定理2 若隐层节点（单元）可任意设置，用三层S型非线性特性节点的网络，可以一致逼近紧集上的连续函数或按范数逼近紧集上的平方可积函数。

多层前馈网络：

多层感知机是一种多层前馈网络，由多层神经网络构成，每层网络将输出传递给下一层网络。神经元间的权值连接仅出现在相邻层之间， 不出现在其他位置。如果每一个神经元都连接到上一层的所有神经元 （除输入层外），则成为全连接网络。

多层前馈网络的反向传播 （BP）学习算法，简称BP算法，是有导师的学习，它是梯度下降法在多层前馈网中的应用。 网络结构：见图，𝐮（或𝐱 ）、𝐲是网络的输入、输出向量，神经元 用节点表示，网络由输入层、隐层和输出层节点组成，隐层可一层 ，也可多层（图中是单隐层），前层至后层节点通过权联接。由于用BP学习算法，所以常称BP神经网络。

BP算法的实现：

已知网络的输入/输出样本，即导师信号。

BP学习算法由正向传播和反向传播组成：

① 正向传播是输入信号从输入层经隐层，传向输出层，若输出层得到了期望的输出， 则学习算法结束；否则，转至反向传播。

② 反向传播是将误差(样本输出与网络输出之差）按原联接通路反向计算，由梯度下降法调整各层节点的权值和阈值，使误差减小。