之前笔记(总结)-统计语言模型主要介绍了统计语言模型。可以看到,最终对句子的建模为(以二元文法为例):
核心问题在于如何计算参数 p(wi|wi−1) p ( w i | w i − 1 ) 。根据计算参数的不同方法,语言模型分为:
- 统计语言模型:极大似然估计
- 神经语言模型:神经网络预测
神经语言模型
可以看到,模型的输入即为 wi−1 w i − 1 的one-hot表示。输出为一个 |V
之前笔记(总结)-统计语言模型主要介绍了统计语言模型。可以看到,最终对句子的建模为(以二元文法为例):
核心问题在于如何计算参数 p(wi|wi−1) p ( w i | w i − 1 ) 。根据计算参数的不同方法,语言模型分为:
可以看到,模型的输入即为 wi−1 w i − 1 的one-hot表示。输出为一个 |V