深度学习算法知识

• 📢博客主页：盾山狂热粉的博客_CSDN博客-C、C++语言,机器视觉领域博主
• 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正！
• 📢努力努力再努力嗷~~~✨

💡本次分享的内容是深度学习中具体算法的理论-应用-逻辑，这里都粗略的介绍，后续等我学成归来，一定回来看看修改一下😊

一、神经网络+卷积神经网络

（一）神经网络（Neural Network）

👉具有适应性简单单元组成的广泛并行互联网络

💡由数千甚至数百万个紧密互连的简单处理节点组成，其主要包括输入层（输入数据）、中间层/隐藏层（学习复杂决策边界）和输出层（输出结果）

💡神经网络通过采取设置中间层的方式，利用单一算法学习各种决策边界，调节中间层数量以及层的深度，神经网络可学习更复杂的边界特征，而得出更加准确的结果

⚠️可以用于回归，但主要应用于分类问题

⭕如下图所示：输入层表示输入图像（64维向量），中间层使用Sigmoid等非线性函数对于输入层数据进行计算，输出层使用非线性函数对于中间层数据进行计算。

 

（二）卷积神经网络（Convolutional Neural Network,CNN）

👉以图像识别为核心的深度学习算法

💡由数千甚至数百万个紧密互连的简单处理节点组成，其主要包括输入层、卷积层、池化层、全连接层和输出层

⚠️适合处理图片、视频等类型数据

💡神经网络通过采取设置中间层的方式，利用单一算法学习各种决策边界，调节中间层数量以及层的深度，神经网络可学习更复杂的边界特征，而得出更加准确的结果

✈️1980年，日本科学家福岛邦彦提出一个包含卷积层、池化层的神经网络结构。在此基础上，Yann Lecun将BP算法应用到该神经网络结构的训练上，形成当代卷积神经网络的雏形

✈️​​​​​​​1988年，Wei Zhang提出第一个二维卷积神经网络：平移不变人工神经网络（SIANN），并将其应用于检测医学影像；1998年Yann LeCun及其合作者构建了更加完备的卷积神经网络LeNet-5并在手写数字的识别问题中取得成功

 💡卷积层：图片输入转化成RGB对应的数字，然后通过卷积核做卷积，目的是提取输入中的主要特征，卷积层中使用同一卷积核对每个输入样本进行卷积操作

💡池化层：用于减小卷积层产生的特征图尺寸（压缩特征映射图尺寸有助于降低后续网络处理的负载）

💡全连接层：计算激活值，然后通过激活函数计算各单元输出值（激活函数包括Sigmoid、tanh、ReLU等）

💡输出层：使用似然函数计算各类别似然概率

二、循环神经网络与图神经网络

（一）循环神经网络（Recurrent Neural Network,RNN）

👉用于处理序列数据的神经网络

💡是一类以序列数据（指相互依赖的数据流，比如时间序列数据、信息性的字符串、对话等）为输入，在序列的演进方向进行递归且所有节点（循环单元）按链式连接的神经网络

⚠️目前，语言建模和文本生成、机器翻译、语音识别、生成图像描述、视频标记是RNN应用最多的领域

（二）图神经网络（Graph Neural Networks，GNN）

👉用于处理图结构数据的神经网络

💡将图数据和神经网络进行结合，在图数据上面进行端对端的计算，具备端对端学习、擅长推理、可解释性强的特点

💡图神经网络发展出多个分支，主要包括图卷积网络、图注意力网络、图自编码器、图生成网络和图时空网络等

⭕图神经网络的训练框架如下

🚟首先，每个节点获取其相邻节点的所有特征信息，将聚合函数（如求和或取平均）应用于这些信息（ 聚合函数的选择必须不受节点顺序和排列的影响）

🚟之后，将前一步得到的向量传入一个神经网络层（通常是乘以某个矩阵），然后使用非线性激活函数（如ReLU）来获得新的向量表示

⚠️目前，图神经网络在许多领域的实际应用中都展现出强大的表达能力和预测能力，如物理仿真、科学研究、生物医药、金融风控等

 

三、长短期记忆神经网络（Long Short-Term Memory,LSTM）

👉在RNN中加入门控机制，解决梯度消失问题

💡是一种特殊的循环神经网络（RNN）。传统RNN在训练中，随着训练时间的加长和层数的增多，很容易出现梯度爆炸或梯度消失问题，导致无法处理长序列数据，LSTM可有效解决传统RNN“长期依赖”问题

💡LSTM由状态单元、输入门（决定当前时刻网络的输入数据有多少需要保存到单元状态）、遗忘门（决定上一时刻的单元状态有多少需要保留到当前时刻）、输出门（控制当前单元状态有多少需要输出到当前输出值）组成，以此令长期记忆与短期记忆相结合，达到序列学习的目的

⚠️LSTM应用领域：文本生成、机器翻译、语音识别、生成图像描述和视频标记等

 

四、自编码器（Autoencoder,AE）

👉通过期望输出等同于输入样本的过程，实现对输入样本抽象特征学习

💡典型深度无监督学习模型包括自编码器、受限波尔兹曼机与生成对抗网络

💡自编码器：包括编码器和解码器两部分，其中编码器将高维输入样本映射到低维抽象表示，实现样本压缩与降维；解码器将抽象表示转换为期望输出，实现输入样本的复现。自码器的输入与期望输出均为无标签样本，隐藏层输出则作为样本的抽象特征表示

💡自编码器仅通过最小化输入样本与重构样本之间的误差来获取输入样本的抽象特征表示，无法保证自编码器提取到样本的本质特征

⚠️为避免上述问题，需要对自编码器添加约束或修改网络结构，进而产生稀疏自编码器、去噪自编码器、收缩自编码器等改进算法

⚠️自编码器凭借其优异的特征提取能力，主要应用于目标识别、文本分类、图像重建等诸多领域

 

五、生成对抗网络（Generative Adversarial Network,GAN）

👉通过对抗训练机制使得生成器生成以假乱真的样本

💡通过使用对抗训练机制对两个神经网络进行训练，避免反复应用马尔可夫链学习机制带来的配分函数计算，明显提高应用效率

💡生成对抗网络包含一组相互对抗模型—判别器和生成器，判别器目的是正确区分真实数据和生成数据，使得判别准确率最大化，生成器是尽可能逼近真实数据的潜在分布。生成器类似于造假钞的人，其制造出以假乱真的假钞，判别器类似于警察，尽可能鉴别出假钞，最终造假钞的人和警察双方在博弈中不断提升各自能力