项目实训三

深度学习

本周主要学习了深度学习的相关内容，包括常见的神经网络模型，比如

• 感知器——也叫做单层神经网络，因为仅包含两层
• 前馈（FF）——前馈神经网络是一种其中的节点不会形成循环的人工神经网络。在这种神经网络中，所有的感知器都被安排在输入层接收输入，输出层产生输出。隐藏层与外部世界没有联系，这就是为什么它们被称为隐藏层。在前馈神经网络中，一层的每个感知器与下一层的每个节点连接。因此，所有节点都是完全连接的。需要注意的是，同一层中的节点之间没有可见或不可见的连接。在前馈网络中没有后回路。因此，为了使预测误差最小化，我们通常使用反向传播算法来更新权值。
• 径向基网络——径向基函数网络通常用于解决函数逼近问题。区别于其它神经网络，它们有更快的学习速度和通用逼近能力。径向基神经网络和前馈神经网络的主要区别在于，径向基神经网络使用径向基函数作为激活函数。
• 深度前馈——深层前馈网络是使用多个隐藏层的前馈网络。只用一层隐藏层的主要问题是过拟合，因此通过增加隐藏层，可以减少过拟合，提高泛化能力。
• 循环神经网络（RNN）——循环神经网络是前馈神经网络的一种改进形式。在这种类型中，隐藏层中的每个神经元接收具有特定时间延迟的输入。使用这种类型的神经网络，我们需要在当前的迭代中访问之前的信息。例如，当我们试图预测一个句子中的下一个单词时，我们首先需要知道之前使用的单词。循环神经网络可以处理输入并跨时共享任意长度和权重。模型大小不会随着输入的大小而增加，模型中的计算会考虑到历史信息。然而，这种神经网络的问题是计算速度慢。此外，它不能考虑当前状态的任何未来输入。它也无法记住很久以前的信息。
• 长/短期记忆（LSTM&