25个深度学习初级专业名词

1、神经元：神经网络中的神经元接收一个输入，处理它并产生一个输出，输出被发送到其他神经元进行进一步的处理，或者直接输出。
2、权重：当输入进入神经元时，会乘以一个权重。
3、偏置：除了权重，另一个线性组件应用于输入，被称为偏置。偏置主要是为了改变权重的范围。
4、激活函数：将输入信号转换为输出信号。常用的激活函数是Sigmoid、ReLU和softmax。
Sigmoid：
ReLU:
Sotfmax：
5、神经网络：神经网络的目标是找到一个未知函数的近似值，由很多相互关联的神经元组成。
6、输入/输出/隐含层：输入层是接收输入数据的，并且是网络的第一层。输出层是生成输出数据的一层，或者是神经网络的最后一层。处理层是神经网络中的隐含层。
7、MLP（多层感知机）：在最简单的神经网络中，会有一个输入层，一个隐含层和一个输出层，我们称其为感知机。在输入层和输出层之间加入多层隐含层，即为多层感知机。又称作完全连接的神经网络。
8、向前传播：指的是输入层数据通过隐含层到输出层的运动。在向前传播中，信息沿着一个方向前进，输入层将数据提供给隐含层，然后输出层生成输出。没有反向运动。
9、成本函数：当我们建立一个神经网络时，神经网络试图会使输出预测尽可能接近实际值。我们使用成本/损失函数来衡量神经网络的准确性。
10、梯度下降：梯度下降是一种用于最小化成本的优化算法。它利用梯度信息，通过不断迭代调整参数来寻找合适的目标值。
11、学习速率：每一次迭代中成本函数最小化的量。
12、反向传播：当我们定义一个神经网络时，可以将随机权重和偏置值分配给每一个节点。一旦获取了单次迭代的输出值，就可以计算网络的错误。把这个错误反馈给网络，以及成本函数的梯度来更新网络的权重。权重更新后可以减少后续迭代中的错误。使用成本函数梯度来进行权重的更新被称为反向传播。
13、批次：在训练神经网络时，并非把所有数据一次性输入进去，而是把数据分成几个大小相等的块。对数据进行批量训练的模型比整个数据集一次性输入的模型更加广义化。
14、训练周期：训练周期指的是前向传播和反向传播中所有批次的单一训练迭代。这意味着1个训练周期是所有输入数据的单次向前和向后传递。
15、丢弃：在训练期间，隐含层中的一定数量的神经元被随机丢弃。
16、过滤器：卷积神经网络的一个过滤器就像一个加权矩阵，将输入图像的一部分相乘，生成一个复杂的输出。
17、卷积神经网络：一种深度学习模型或类似于人工神经网络的多层感知器，常用来分析视觉图像。
18、池化层：为减少参数和防止过拟合，在卷积层之间引入池化层。
19、填充：在图像中添加额外的零层，这样输出图像的大小与输入图像相同。
20、数据增强：在给定的数据基础上添加新数据。例如通过增加亮度可以更容易看到较暗图像的猫，或者识别数字9时可以选择稍微倾斜或旋转。
21、循环神经元：神经元的输出在T时间内被发送回输入。如下图中输出值被作为输入值经过T次发送回来。展开的神经元就像连在一起的T个不同的神经元。这种神经元的基本优点是，它给出了一个更广义的输出。
22、循环神经网络：用于连续的数据，上一个输出被用来预测下一个。在这种情况下，网络内部有循环。隐含层的输出在T时间戳内再次被发送到隐含层。
23、梯度消失：梯度消失问题出现在激活函数的梯度很小的情况下。当权重与这些低梯度相乘，逐层经过神经网络时，会变得非常小，甚至“消失”。这使得神经网络忘记了长期依赖。在循环神经网络中这通常是一个问题，因为长期依赖关系对网络的记忆非常重要。
梯度消失问题可以通过使用像ReLu这种没有小梯度的激活函数来解决。
24、梯度爆炸问题
和梯度消失问题正好相反，梯度爆炸问题指的是激活函数的梯度太大。在反向传播过程中，梯度爆炸令特定节点的权重非常高，而其他节点的权重显得微不足道。
梯度爆炸可以通过剪切梯度来解决，这样就不会超过某个值。
转自：https://zhuanlan.zhihu.com/p/27152079