深度学习一些专业术语

激活函数：为了让神经网络能学到复杂的决策边界，非线性变化，如sigmoid, tanh, relu

放射层：神经网络中的一个全连接层，仿射的意思是前面一层的每一个神经元都连接到当前层中的每一个神经元。一般形式为y=f(wx+b), 仿射层通常被加到卷积神经网络或循环神经网络做出最后预测前的输出的顶层。

端到端训练：从原始输入经过神经网络得到最终的预测结果，没有中间结果需要认为人工干预。

skip connection：某些数据流跳过若干卷积层直接和更高级的特征图做融合，保留更多原始信息。

concatenation操作：不同的Input在channel层面的拼接方法。

注意机制：帮助网络学习在做出预测时应该关注什么。

自编码器：一种神经网络模型，目标是预测输入自身，通过网络中某个地方的瓶颈（bottleneck）实现。通过引入瓶颈，迫使网络学习输入更低维度的表征，从而有效地将输入压缩成一个好的表征。自编码器和 PCA 等降维技术相关，但因为它们的非线性本质，它们可以学习更为复杂的映射。

平均池化：一种在CNN中用于图像识别的池化（Pooling）技术。它的工作原理是在特征的局部区域上滑动窗口，比如像素，然后再取窗口中所有值的平均，能将输入表征压缩成一种更低维度的表征。

微调：Fine-Tuning 是指使用来自另一个任务（例如一个无监督训练网络）的参数初始化网络，然后再基于当前任务更新这些参数。

Embedding：一个嵌入映射到一个输入表征，比如一个词或一句话映射到一个矢量。比如说，通过将图像和他们的文本描述映射到一个共同的嵌入空间中并最小化它们之间的距离，我们可以将标签和图像进行匹配。