论文阅读中一些常见的名词解释

1. Pretrained model （预训练模型）
   一般情况下预训练模型都是大型模型，具备复杂的网络结构，众多的参数量，以及在足够大的数据集下进行训练而产生的模型. 在NLP领域，预训练模型往往是语言模型，因为语言模型的训练是无监督的，可以获得大规模语料，同时语言模型又是许多典型NLP任务的基础，如机器翻译，文本生成，阅读理解等，常见的预训练模型有BERT, GPT, roBERTa, transformer-XL等.

2. Fine-tuning （微调）
   根据给定的预训练模型，改变它的部分参数或者为其新增部分输出结构后，通过在小部分数据集上训练，来使整个模型更好的适应特定任务.

3. Style Transfer （风格迁移）
   所谓风格迁移，其实就是提供一幅画(Reference style image)，将任意一张照片转化成这个风格，并尽量保留原照的内容(Content)。这种技术首先由Gatys，Ecker和Bethge（A Neural Algorithm of Artistic Style）发表的开创性论文说起，它展示了将一个图像的艺术风格与另一个图像的内容相结合的方法。

4. Adversarial Training （对抗训练）
   对抗性训练是一种数据增强技术，它用对抗样本训练DNN而不是原始样本来训练DNN。

5. One-Hot Encoding (独热编码)
   One Hot Encoding: 独热编码，又称一位有效编码，其方法是使用N位状态寄存器来对N个状态进行编码，每个状态都有它独立的寄存器位，并且在任意时候，其中只有一位有效。
   例如：
   自然状态码为：111,101,010,011,110,101
   独热编码为：000001,000010,000100,001000,010000,100000
   假设有如下对应编码关系：
   0：我
   1：是
   2：一
   3：头
   4：猪
   那么用来表示一句话比如：“我是猪”表示为：
   0，1，4
   而one-hot编码中只存在 0 和1，有多少个字要编码，独热编码的每一行长度就会有多长，比如字典中一共有 5 个字 “我是一头猪” 被从 0-4 进行了编码，那么独热编码的每一行就会有5个用 0或1表示的位置，即使可能要表达的语句只有很短的句子，例如：
   [1,0,0,0,0] 我-----0
   [0,1,0,0,0] 是-----1
   [0,0,0,0,1] 猪-----4
   在每一句对应的编码位置会被设置成 1，其余的地方都是 0，也就是说，每一行只会有一个1。

6. Embedding
   简单地说，Embedding就是把一个东西映射到一个向量 x。如果两个东西很像，那么得到的向量 x1 和 x2 的欧式距离很小。说的通俗点，Embedding指图像特有的一些特征，代表了图像最本质的特征
   在机械学习领域，Embedding指的是把某一个距离空间嵌入另一个距离空间。比如把图像空间嵌入特征空间，实际操作就是抽特征向量。（如果按照现在深度学习界通用的理解（其实是偏离了原意的），Embedding就是从原始数据提取出来的Feature，也就是那个通过神经网络映射之后的低维向量）之所以叫嵌入是因为我们可以把多个距离空间嵌入同一个距离空间。
   可参考这篇文章：深度学习之embedding层讲解

7. Encoder-Decoder（编码-解码)
   所谓编码，就是将输入序列转化成一个固定长度的向量；解码，就是将之前生成的固定向量再转化成输出序列。
   一个Encoder是一个接收输入，输出特征向量的 网络 （FC, CNN, RNN, etc）。这些特征向量其实就是输入的特征和信息的另一种表示。编码实际上就是对内容的另一种表示.
   Decoder同样也是一个 网络 （通常与编码器相同的网络结构，但方向相反），它从编码器获取特征向量，并输出与实际输入或预期输出最近似的结果。

8. Baseline (基准线)
   baseline一词应该指的是对照组，基准线，就是你这个实验有提升，那么你的提升是对比于什么的提升，被对比的就是baseline。

（后续继续补充）