weixin_40485472的博客

语言模型的作用：1.可以给出任意一个句子的分数，评价这个句子在实际中发生的可能性。2.可以产生新的句子（character level language model）论文1.Recurrent neural network based language model模型： ，输入为,包含了当前词和上一时刻的状态,其中的维度为词表大小 hidden state 为...

2016 COLING 的一篇文章，在序列标注的框架里，同时使用character级别的embedding和word级别的embedding并且在两种embedding之间使用attention的机制结合序列标注模型: BI-LSTM + CRF, 有一个问题不太理解：为什么这里要加一个层，解释的理由不是太理解。loss function是最小化负的正样本的log概率，概率是C...

1.A Neural Probabilistic Language Modelwww.jmlr.org/papers/volume3/bengio03a/bengio03a.pdfBegio的一篇文章，建立语言模型根本的问题是维度灾难，为了解决这个问题使用N-gram，但N-gram的问题是对于训练集中没有出现的句子，概率很小，所以要把N取得小，这样有两点问题：1....