本文介绍了语言模型的概念，探讨了n元语法的概率计算方法，以及如何使用循环神经网络（RNN）来处理序列数据，其中RNN通过隐藏状态H捕获序列历史信息，以预测序列的下一个元素。
语言模型
一段自然语言文本可以看作是一个离散时间序列，给定一个长度为 T T T的词的序列 w 1 , w 2 , … , w T w_1, w_2, \ldots, w_T w1,w2,…,wT，语言模型的目标就是评估该序列是否合理，即计算该序列的概率：
P ( w 1 , w 2 , … , w T ) . P(w_1, w_2, \ldots, w_T). P(w1,w2,…,wT).
语言模型
假设序列 w 1 , w 2 , … , w T w_1, w_2, \ldots, w_T w1,w2,…,wT中的每个词是依次生成的，我们有
例如，一段含有4个词的文本序列的概率
P ( w 1 , w 2 , w 3 , w 4 ) = P ( w 1 ) P ( w 2 ∣ w 1 ) P ( w 3 ∣ w 1 , w 2 ) P ( w 4 ∣ w 1 , w 2 , w 3 ) . P(w_1, w_2, w_3, w_4) = P(w_1) P(w_2 \mid w_1) P(w_3 \mid w_1, w_2) P(w_4 \mid w_1, w_2, w_3). P(w1,w2,w3,w4)=P(w1)P(w2∣w1)P(w3∣
最低0.47元/天 解锁文章
扫一扫
963
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
