【学习小记】BERT+GPT

睡了一下午把所有状态都睡没了。。。但还是不要错过打卡！

BERT

这是第二遍整理了，对BERT的印象：非常类似于CV中的VGG16这样的特征提取网络。。。

词嵌入的新时代—ELMo embeddings

首先明确一下词嵌入是啥：单词无法直接输入进机器学习模型，通过词嵌入，我们可以使用向量来表示单词及单词之间的关系。词嵌入一般使用预训练好的。

为啥这里说新时代呢，主要是最普通的词嵌入，一个单词永远是相同的向量。但一个单词常常有多重含义，也有很多固定搭配，为啥不能根据上下文来学习对应的词嵌入呢？因此就来到了语境化的词嵌入模型。

ELMo 没有对每个单词使用固定的词嵌入，而是在为每个词分配词嵌入之前，查看整个句子，融合上下文信息。它使用在特定任务上经过训练的双向 LSTM 来创建这些词嵌入。