深度学习相关术语

深度学习是机器学习的一个子领域，侧重于使用多层神经网络模型来学习数据的复杂表示。以下是一些深度学习中的关键术语：

1. Neural Network (神经网络)：模拟人脑神经元结构的计算模型，由输入层、隐藏层和输出层组成，各层间通过权重连接。

2. Deep Neural Network (深度神经网络, DNN)：具有多个隐藏层的神经网络，能够学习数据的多层次抽象表示。

3. Convolutional Neural Network (卷积神经网络, CNN)：专为处理网格数据（如图像）设计的神经网络，通过卷积层捕捉局部特征。

4. Recurrent Neural Network (循环神经网络, RNN)：适用于序列数据的神经网络，通过循环结构保留历史信息，常用于自然语言处理。

5. Long Short-Term Memory (长短期记忆, LSTM)：一种特殊的RNN，设计有门控机制来控制信息的遗忘和存储，解决了长期依赖问题。

6. Transformer：一种基于自注意力机制的深度学习架构，尤其在自然语言处理任务中表现出色，如BERT和GPT系列模型。

7. Attention Mechanism (注意力机制)：使模型能够动态聚焦输入序列的不同部分，增强对关键信息的关注，提高处理效率和理解能力。

8. Autoencoder (自编码器)：一种无监督学习方法，通过编码器将输入数据压缩，再通过解码器重构数据，用于特征学习和降维。

9. Generative Adversarial Networks (生成对抗网络, GANs)：由生成器和判别器组成的对弈模型，生成器尝试生成逼真数据，判别器则判断数据的真实性。

10. Encoder-Decoder Architecture (编码器-解码器架构)：常用于序列到序列学习任务，如机器翻译，编码器将输入序列编码为中间表示，解码器再将其解码为目标序列。

11. Backpropagation (反向传播)：一种在神经网络中传播误差并更新权重的算法，是训练深度学习模型的关键步骤。

12. Activation Function (激活函数)：如ReLU、sigmoid、tanh等，用于引入非线性，使神经网络能够学习复杂的函数关系。

13. Loss Function (损失函数)：衡量模型预测值与真实值之间差距的函数，如均方误差(MSE)、交叉熵损失(Cross-Entropy)等。

14. Optimizer (优化器)：如梯度下降(Gradient Descent)、Adam等，用于调整模型参数以最小化损失函数。

15. Batch Size (批量大小)：在一次迭代中同时处理的数据样本数量，影响学习速度和内存需求。

16. Epoch (周期)：完整遍历一次训练数据集的过程。

17. Dropout：一种正则化技术，随机“丢弃”一部分神经元以减少过拟合。

18. Transfer Learning (迁移学习)：利用在一个任务上学到的模型参数作为新任务的起点，加速学习过程并提高性能。

这些术语构成了深度学习领域的基础，理解它们对于深入掌握深度学习技术至关重要。