深度学习--个人学习心得

深度学习概念

深度学习基于深信度网 (DBN) 提出非监督贪心逐层训练算法，多层自动编码器深层结构
深度学习利用空间相对关系减少参数数目以提高训练性能
从广义上说深度学习的网络结构也是多层神经网络其中一种

关键概念

1. 神经网络的基本单元：神经元

• 每个神经元接收一组输入，对其求加权和，并加上一个偏置项（bias），然后将这个结果传递给一个激活函数（如ReLU、sigmoid或tanh），从而产生输出。

2. 层（Layers）

• 神经网络是由层组成的，包括输入层、隐藏层和输出层。输入层直接接收原始数据，输出层产生最终预测，而隐藏层则负责学习数据的内部表示。

3. 深度（Depth）

• “深度”指的是神经网络中隐藏层的数量。深度学习模型通常具有多个隐藏层，这使得它们能够学习到数据的多层次抽象特征。

4. 权重（Weights）和偏置（Biases）

• 神经网络中的连接由权重和偏置定义。这些参数是在训练过程中通过最小化损失函数（loss function）来调整的。

5. 激活函数（Activation Functions）

• 激活函数引入非线性因素，使网络能够学习复杂的模式。常用的激活函数包括ReLU、sigmoid、tanh等。

6. 损失函数（Loss Function）

• 损失函数衡量模型预测值与真实值之间的差距。常见的损失函数有均方误差（MSE）、交叉熵损失（cross-entropy loss）等。

7. 优化器（Optimizers）

• 优化器用来更新网络中的权重和偏置，以便减少损失函数的值。常用的优化算法有随机梯度下降（SGD）、Adam等。

8. 反向传播（Backpropagation）

• 反向传播是一种用于计算损失函数关于权重和偏置的梯度的有效方法。它是大多数深度学习框架的核心算法。

9. 自动微分（Automatic Differentiation）

• 自动微分技术允许自动计算梯度，这对于训练深度神经网络至关重要。

10. 超参数（Hyperparameters）

• 超参数是在训练之前设定的参数，例如学习率、批量大小、层数和每层的节点数等。正确设置超参数对于获得良好的模型性能非常重要。

11. 数据预处理（Data Preprocessing）

• 在训练之前，通常需要对数据进行归一化、标准化或其他预处理步骤，以改善模型的表现。

12. 数据增强（Data Augmentation）

• 数据增强技术通过生成输入数据的变化版本来增加训练集的多样性，这有助于提高模型的泛化能力。

常见的12个模型

前馈神经网络、卷积神经网络、循环神经网络、生成对抗网络、长短期记忆网络、
Transformer、 VGG Networks、 Google Net / Inception Models、 Dense Net、 U-Net、 Residual Networks(Res Nets)、 BERT/Transformer-based Models

前馈神经网络：最基础深度学习模型，信息在其中单向传播，没有循环或反馈链接
包括多层感知器(MLP)
卷积神经网络：适合处理聚友网络结构的数据(图像、音频)，通过卷积层捕捉局部特征和空间信息
循环神经网络：设计用于处理序列数据(文本、时间序列数据)，能够保留并利用历史信息
长短期记忆网络：一种RNN变体，通过特殊门控机制解决长期依赖问题，适合处理更长序列数据
生成对抗网络：生成器+判别器，通过相互博弈学习数据分布，进而生成新样本

Transformer：最初为自然语言处理任务设计，通过自注意力机制处理序列数据，现在也被广泛用于图像处理等领域
VGG Networks：一系列深度卷积神经网络，以其层数命名(如VGG16、VGG19)，因其简洁和有效性而在图像分类任务中很受欢迎
Google Net / Inception Models：包括InceptionV1至InceptionV4等多个版本，通过复杂的"inception模块"提高模型的效率和性能，适合图像分类任务
Residual Networks(Res Nets)：引入了残差连接，帮助解决深层网络中的梯度消失问题，使得训练更深的网络成为可能
Dense Net：通过密集连接模式，每一层都与之前的层相连，减少参数数量的同时增强特征传播
U-Net：主要用于图像分割任务，采用编码器-解码器结构，并通过跳跃连接整合不同层级的特征信息
BERT/Transformer-based Models：在自然语言处理领域取得了革命性进展，荣国与训练和微调的方式，在多种任务上表现出色