Neural Network (神经网络)相关术语

神经网络（Neural Network）是一个灵感来源于生物神经系统的计算模型，广泛应用于机器学习和人工智能领域。以下是与神经网络相关的几个核心术语：

1. 人工神经元（Artificial Neuron）：神经网络的基本构建单元，模拟生物神经元的工作原理，接收输入信号，通过加权求和与激活函数产生输出。

2. 激活函数（Activation Function）：如Sigmoid、ReLU（Rectified Linear Unit）、Tanh等，用于在神经元中引入非线性，使得神经网络能够学习复杂的函数映射。

3. 权重（Weights）：连接神经元之间的参数，决定了输入信号在传递过程中的影响力。

4. 偏置（Bias）：类似于阈值，用于调整神经元的激活难度，增加模型的灵活性。

5. 前向传播（Forward Propagation）：输入数据从输入层经过隐藏层到达输出层的过程，每一层的输出都是下一层的输入。

6. 反向传播（Backpropagation）：在训练神经网络时，误差从输出层向输入层反向传播，用于计算梯度并更新权重，以减小损失函数的值。

7. 损失函数（Loss Function）：衡量模型预测输出与实际标签之间差异的函数，如均方误差（MSE）、交叉熵损失（Cross-Entropy Loss）等。

8. 优化器（Optimizer）：如梯度下降（Gradient Descent）、随机梯度下降（SGD）、Adam等，用于调整神经网络的权重，以最小化损失函数。

9. 批次（Batch）：在训练过程中，数据集被分割成多个小组，每个小组称为一个批次，用于计算梯度并更新权重。

10. 学习率（Learning Rate）：控制权重更新步长的超参数，决定了模型学习的速度和精度。

11. 正则化（Regularization）：如L1、L2正则化，用于防止模型过拟合，通过在损失函数中加入惩罚项来约束模型复杂度。

12. 卷积神经网络（Convolutional Neural Network, CNN）：特别适合处理图像数据的神经网络，通过卷积层和池化层提取特征。

13. 循环神经网络（Recurrent Neural Network, RNN）：适用于序列数据，如时间序列或自然语言，通过内部状态保留历史信息。

14. 长短时记忆网络（Long Short-Term Memory, LSTM）：一种特殊的RNN，设计有门控机制，能更好地处理长期依赖问题。

15. 全连接层（Fully Connected Layer）：神经网络中所有神经元都相互连接的一层，常用于多层感知机（MLP）和神经网络的输出层。

这些术语构成了理解神经网络工作的基础，是深入学习和应用神经网络技术不可或缺的知识。