哈工大神经网络总结第四周

周一课程

感知机：另一种线性分类模型  

       感知机是Rosenblatt在1957年发明的一种线性分类模型，它是神经网络的雏形。感知机可以被看作是一种二元线性分类模型，其输入为特征向量，输出为类别，通常取值为+1和-1。在二维空间中，感知机模型尝试寻找一条直线将不同类别的点分开；而在高维空间中，则尝试寻找一个超平面来划分不同类别的数据。

       感知机具有多输入单输出的结构特点，其激活函数为二值函数符号函数。感知机模型包含参数w和b，其中w被称为权值或权值向量，b被称为偏置。感知机的损失函数是误分类点到超平面的总距离，在感知机中不太“在意”正确分类点距离超平面的距离。

       感知机可以自动迭代完成线性分类任务，不能对非线性可分过程进行拟合，因此多层感知机，即神经网络出现。

多层感知机

      在输入和输出层间加一或多层隐单元，构成多层感知器（多层前馈神经网络）。加一层隐节点（单元）为三层网络，可解决异或（XOR ）问题，例如下图。

       多层感知器网络，有如下定理：

定理1

       若隐层节点（单元）可任意设置，用三层阈值节点的网络，可以实现任意的二值逻辑函数。

定理2

       若隐层节点（单元）可任意设置，用三层S型非线性特性节点的网络，可以一致逼近紧集上的连续函数或按 范数逼近紧集上的平方可积函数。

周三课程

多层前馈网络

       多层感知机是一种多层前馈网络，由多层神经网络构成，每层网络将输出传递给下一层网络。神经元间的权值连接仅出现在相邻层之间，不出现在其他位置。如果每一个神经元都连接到上一层的所有神经元（除输入层外），则成为全连接网络。

       多层前馈网络的反向传播 （BP）学习算法，简称BP算法，是有导师的学习，它是梯度下降法在多层前馈网中的应用。 BP 学习算法由正向传播和反向传播组成：

       ① 正向传播是输入信号从输入层经隐层，传向输出层，若输出层得到了期望的输出，则学习算法结束；否则，转至反向传播。

       ② 反向传播是将误差 ( 样本输出与网络输出之差）按原联接通路反向计算，由梯度下降法调整各层节点的权值和阈值，使误差减小。

前向传播：

反向传播：

        首先考虑输出层权值

接着对于隐含层

算法总结：

常用技巧：

模型初始化     

训练数据与验证数据

正则化和Dropout防止过拟合

动量法防止局部极小值

自适应梯度……