摘要
本文介绍了语言模型,并介绍如何用MeCab和Keras实现一个日文的神经网络语言模型。(为什么是日文呢?纯属作者兴趣)
基于神经网络的语言模型
依据Wikepedia,语言模型的定义是“句子们的概率分布”。给定一个长度为m的句子,则可以有概率
P ( w 1 , . . . , w m ) P(w_1,...,w_m) P(w1,...,wm)
由条件概率公式有
P ( w 1 , . . . w m ) = ∏ i = 1 m P ( w i ∣ w 1 , . . . w i − 1 ) P(w_1,...w_m) = \prod_{i=1}^mP(w_i|w_1,...w_{i-1}) P(w1,...wm)=i=1∏mP(wi∣w1,...