elsieyin的博客

之前的Word Representation方法，Word2Vec, GloVe, fastText等对每个单词仅有一种表示，而通常单词的含义依赖其上下文会有所不同，而且每个单词不仅有一方面特征，而应有各方面特征如语义特征，语法特征等，这一讲集中讨论contextual word representation，主要比较了ELMO，GPT与BERT模型。ElmoL层forward LSTM每层会产生一个依赖于上文的表示h→k,jLM\overrightarrow{\mathbf{h}}_{k, j}^{L

之前的Neural Machine Translation基本上都是基于word单词作为基本单位的，但是其缺点是不能很好的解决out-of-vocabulary（OOV即单词不在词汇库里）的情况，且对于单词的一些词法上的修饰(morphology)处理的也不是很好。中文是不带空格分隔的。一个自然的想法就是能够利用比word更基本的组成来建立模型，以更好的解决这些问题。OOV（未登录词）网络流行词：专业词汇：NER词汇：解决方法：新词发现Character-Level Model一种思路是将字

Related PaperNNLMRNNLM