神经网络与深度学习总结

1.线性分类与感知机

我们学习了线性回归、线性分类和感知器模型。深入研究了监督学习背景下的训练过程、数据集和权重更新。此外，它还涵盖了诸如积分和触发模型、序列的构建以及在解决问题中使用概率等概念。

还涉及贝叶斯公式在二元分类问题中的应用，以及softmax回归在多类回归场景中的使用。此外，还探讨了神经元在生物和人工神经网络中的作用，强调了理解潜在功能和机制的重要性。

2.多层前馈网络与误差反传算法

在输入和输出层间加一或多层隐单元，构成多层感知器（多层前馈神经网络）。 加一层隐节点（单元）为三层网络，可解决异或（XOR）问题。由输入得到两个隐节点、一个输出层节点的输出：

可得到：

三层感知器可识别任一凸多边形或无界的凸区域。更多层感知器网络，可识别更为复杂的图形。

对于多层感知器网络，有如下定理：

（1）若隐层节点（单元）可任意设置，用三层阈值节点的网络，可以实现任意的二值逻辑函数。

（2）若隐层节点（单元）可任意设置，用三层S型非线性特性节点的网络，可以一致逼近紧集上的连续函数或按 范数逼近紧集上的平方可积函数。

3.BP算法

多层感知机是一种多层前馈网络，由多层神经网络构成，每层网络将输出传递给下一层网络。神经元间的权值连接仅出现在相邻层之间，不出现在其他位置。如果每一个神经元都连接到上一层的所有神经元 （除输入层外），则成为全连接网络。

多层前馈网络的反向传播 （BP）学习算法，简称BP算法，是有导师的学习，它是梯度下降法在多层前馈网中的应用。 网络结构：见图，𝐮（或𝐱 ）、𝐲是网络的输入、输出向量，神经元用节点表示，网络由输入层、隐层和输出层节点组成，隐层可一层 ，也可多层（图中是单隐层），前层至后层节点通过权联接。由于用BP学习算法，所以常称BP神经网络。

BP学习算法由正向传播和反向传播组成：

① 正向传播是输入信号从输入层经隐层，传向输出层，若输出层得到了期望的输出，则学习算法结束；否则，转至反向传播。

② 反向传播是将误差(样本输出与网络输出之 差）按原联接通路反向计算，由梯度下降法调整各层节点的权值和阈值，使误差减小。

优点：学习完全自主； 可逼近任意非线性函数；

缺点：算法非全局收敛； 收敛速度慢； 学习速率α选择