神经网络常用术语

神经网络常用术语

神经网络有很多专业术语，下面对其进行简要介绍。

• 人工神经元

人工神经元是按照生物神经元的结构和工作原理构造出来的一个抽象的和简化了的模型。在神经网络中，神经元接收输入，处理它并产生输出: 而这个输出被发送到其他神经元用于进一步处理，或者作为最终输出进行输出。

• 权重

当输入进入神经元时，它会乘以一个权重。例如，如果个神经元有两个输入，则每个输入都将具有分配给它的一个关联权重。神经元对权重进行随机初始化，并在模型训练过程中更新这些权重。假设输入为a,且与其相关联的权重为W,那么在通过节点后，输入变为a×W。

• 偏置

除了权重之外，另一个被应用于输入的线性分量被称为偏置。它被加到权重与输入相乘的结果中。添加偏置的目的是改变权重与输入相乘所得结果的范围。假设偏置为b,则添加偏置后，结果为a×W+b。这是输入变换的最终线性分量。

• 激活函数

激活函数的主要作用是加入非线性因素，以解决线性模型表达能力不足的问题。因为神经网络要求在数学上处处可微，所以所选取的激活函数要求其输入和输出也都是可微的。在神经网络中常用的激活函数有sigmoid、 tanh、 ReLU和softmax等。

• 神经网络

神经网络由相互联系的神经元构成。这些神经元有权重和在网络训练期间根据错误进行更新的偏差。激活函数将非线性变换置于线性组合，而这个线性组合稍后会生成输出。激活的神经元的组合会给出输出值。

• 输入层、输出层和隐藏层

输入层是接收输入的那一层，本质上是网络的第一层。 而输出层是生成输出的那一层，也可以说是网络的最终层。处理层是网络中的隐藏层。这些隐藏层是对传入数据执行特定任务并将其生成的输出传递到下一层的那些层。 输入层和输出层是可见的，而中间层则是隐藏的。

• 正向传播和反向传播

正向传播是指输入通过隐藏层到输出层的运动。在正向传播中，信息沿着一个单一方向前进。输入层将输入提供给隐藏层，然后生成输出。在此过程中是没有反向运动的。使用损失函数的梯度的权重更新，被称为反向传播。当定义神经网络时，为节点分配随机权重和偏差值，一且 收到单次迭代的输出，就可以计算出网络的错误。然后将该错误与损失函数的梯度一起从外层通过隐藏层流回，以更新网络的权重。最后更 新这些权重，以便减少后续迭代中的错误。

• 损失函数

当建立一个网络时，网络试图将输出预测得尽可能接近实际值。可使用损失函数(也称成本函数)来衡量网络的准确性，以提高预测精度并减少误差，从而最大限度地降低损失。最优化的输出是那些损失函数值最小的输出。

• 学习率

学习率被定义为每次迭代中损失函数中最小化的量，即下降到损失函数的最小值的速率。学习率的选择很关键，若学习率非常大，则最佳解决方案可能被错过:若学习率非常小，则网络优化效率会很低。

• 泛化

泛化指训练好的模型在未见过的数据上的表现能力。具有良好泛化能力的网络，在输入数据与训练数据稍有不同时也能得到比较好的结果。