学习笔记--神经网络与深度学习之各种神经网络

 

前馈神经网络

前馈神经网络（Feedforward Neural Network，FNN）是一种最早发明的简单人工神经网络，它的拓扑结构是一种比较直接的网络连接方式。

前馈神经网络的特点是信息只能从输入层流向输出层，不存在反馈回路。这意味着网络的信息传递是单向的，没有循环依赖。前馈神经网络通常由输入层、隐藏层和输出层组成，其中隐藏层可以有多个。每个神经元都与下一层的所有神经元相连，但没有同一层内神经元之间的连接。这种结构使得前馈神经网络能够处理各种类型的问题，如分类、回归和模式识别等。

前馈神经网络的训练过程通常使用反向传播算法，通过调整网络中的权重和偏置来最小化预测输出与实际输出之间的误差。

前馈神经网络在机器学习和深度学习领域有着广泛的应用，例如图像识别、语音识别和自然语言处理等任务。

卷积神经网络

卷积神经网络（CNN）是一类具有深度结构的前馈神经网络，它包含卷积计算的操作。CNN的设计灵感来自生物学中感受野的机制，它专门用于处理具有类似网格结构的数据，如时间序列数据和图像数据。（感受野指视觉、听觉系统中的一些神经元只接受其支配的刺激区域内的信号。一个神经元的感受野指视网膜上特定的区域，只有这个区域的刺激才能激活该神经元。）

卷积神经网络的核心是卷积层，它通过卷积操作对输入数据进行特征提取和表示学习。

卷积神经网络在深度学习领域得到了广泛应用，特别适用于图像识别、目标检测和语音识别等任务。

循环神经网络

循环神经网络是一种神经网络结构，与普通的神经网络最大的区别在于它具有一个循环递归和一个递归参数w。

循环神经网络包括输入层、隐藏层和输出层，其中隐藏层的神经元之间存在循环连接。这个循环连接使得循环神经网络能够处理序列数据，如文本、语音等具有时序关系的数据。循环神经网络的参数是共享的，即在每个时间步上使用相同的参数，这是循环神经网络的一个重要特性。

另外，还有一种双向循环神经网络，它与普通的循环神经网络最大的区别在于方向是双向的，可以同时利用前面和后面的时间点的输出。