-
Pretrained model (预训练模型)
一般情况下预训练模型都是大型模型,具备复杂的网络结构,众多的参数量,以及在足够大的数据集下进行训练而产生的模型. 在NLP领域,预训练模型往往是语言模型,因为语言模型的训练是无监督的,可以获得大规模语料,同时语言模型又是许多典型NLP任务的基础,如机器翻译,文本生成,阅读理解等,常见的预训练模型有BERT, GPT, roBERTa, transformer-XL等. -
Fine-tuning (微调)
根据给定的预训练模型,改变它的部分参数或者为其新增部分输出结构后,通过在小部分数据集上训练,来使整个模型更好的适应特定任务. -
Style Transfer (风格迁移)
所谓风格迁移,其实就是提供一幅画(Reference style image),将任意一张照片转化成这个风格,并尽量保留原照的内容(Content)。这种技术首先由Gatys,Ecker和Bethge(A Neural Algorithm of Artistic Style)发表的开创性论文说起,它展示了将一个图像的艺术风格与另一个图像的内容相结合的方法。 -
Adversarial Training (对抗训练)
对抗性训练是一种数据增强技术,它用对抗样本训练DNN而不是原始样本来训练DNN。 -
One-Hot Encoding (独热编码)
One Hot Encoding: 独热编码,又称一位有效编码,其方法是使用N位状态寄存器来对N个状态进行编码,每个状态都有它独立的寄存器位,并且在任意时候,其中只有一位有效。
例如:
自然状态码为:111,101,010,011,110,101
独热编码为:000001,000010,000100,001000,010000,100000
假设有如下对应编码关系:
0:我
1:是
2:一
3:头
4:猪
那么用来表示一句话比如:“我是猪”表示为:
0,1,4
而one-hot编码中只存在 0 和1,有多少个字要编码,独热编码的每一行长度就会有多长,比如字典中一共有 5 个字 “我是一头猪” 被从 0-4 进行了编码,那么独热编码的每一行就会有5个用 0或1表示的位置,即使可能要表达的语句只有很短的句子,例如:
[1,0,0,0,0] 我-----0
[0,1,0,0,0] 是-----1
[0,0,0,0,1] 猪-----4
在每一句对应的编码位置会被设置成 1,其余的地方都是 0,也就是说,每一行只会有一个1。 -
Embedding
简单地说,Embedding就是把一个东西映射到一个向量 x。如果两个东西很像,那么得到的向量 x1 和 x2 的欧式距离很小。说的通俗点,Embedding指图像特有的一些特征,代表了图像最本质的特征
在机械学习领域,Embedding指的是把某一个距离空间嵌入另一个距离空间。比如把图像空间嵌入特征空间,实际操作就是抽特征向量。(如果按照现在深度学习界通用的理解(其实是偏离了原意的),Embedding就是从原始数据提取出来的Feature,也就是那个通过神经网络映射之后的低维向量)之所以叫嵌入是因为我们可以把多个距离空间嵌入同一个距离空间。
可参考这篇文章:深度学习之embedding层讲解 -
Encoder-Decoder(编码-解码)
所谓编码,就是将输入序列转化成一个固定长度的向量;解码,就是将之前生成的固定向量再转化成输出序列。
一个Encoder是一个接收输入,输出特征向量的 网络 (FC, CNN, RNN, etc)。这些特征向量其实就是输入的特征和信息的另一种表示。编码实际上就是对内容的另一种表示.
Decoder同样也是一个 网络 (通常与编码器相同的网络结构,但方向相反),它从编码器获取特征向量,并输出与实际输入或预期输出最近似的结果。 -
Baseline (基准线)
baseline一词应该指的是对照组,基准线,就是你这个实验有提升,那么你的提升是对比于什么的提升,被对比的就是baseline。
(后续继续补充)