1.卷积神经网络
卷积神经网络(Convolutional Neural Networks, 简称CNN),作为一类集成了卷积运算的深度前馈神经网络(Feedforward Neural Networks),是深度学习领域中的一颗璀璨明珠,引领着现代机器学习算法的前沿。
在卷积神经网络(Convolutional Neural Networks, CNN)的层次结构中,神经元被精妙地组织成三维阵列,涵盖了宽度、高度与深度三个维度。具体而言,对于输入层而言,其宽度与高度直接映射了输入图像的相应尺寸,而深度则巧妙地代表了图像的颜色通道数:例如,在RGB色彩模式下,图像由红(R)、绿(G)、蓝(B)三个通道构成,因此深度为3;相比之下,灰度图像仅含单一通道,其深度即为1。
转向中间层,这里的宽度与高度转而表征了特征图(feature map)的空间维度,这些特征图的具体尺寸往往由卷积操作与池化处理的参数共同决定。至于深度维度,它则反映了特征图的通道数量,这一数值通常由所采用的卷积核(或滤波器)的数量直接确定。
值得注意的是,全连接神经网络(Fully Connected Neural Networks)的核心运算在于矩阵乘法,而CNN则显著地以卷积运算为核心,辅以其各种变体,这些计算方式赋予了CNN在处理图像数据时无可比拟的优势。
2.循环神经网络
循环神经网络(Recurrent Neural Network, RNN),作为一种专为序列数据处理而设计的神经网络架构,隶属于深度学习神经网络(Deep Neural Network, DNN)的广阔范畴。与传统的前馈神经网络(Feedforward Neural Networks)显著不同,RNN在其独特的运作机制中融入了“记忆”的能力。具体而言,每当处理序列中的每一个输入元素时,RNN不仅考虑当前的输入信息,还会保留一个内部状态,即隐藏状态(Hidden State),并将这一状态传递到序列的下一个时间步中。这种设计使得RNN能够“记住”并有效利用序列中先前的信息,从而在处理连续或相互关联的数据时展现出卓越的性能。
在自然语言处理(Natural Language Processing, NLP)、语音识别(Speech Recognition)、机器翻译(Machine Translation)等众多挑战性任务中,RNN已经取得了令人瞩目的成就。其核心优势在于能够深入捕捉并理解输入序列中的上下文信息,这种能力对于理解和生成自然语言、解析连续音频信号以及实现跨语言转换等任务至关重要。