深度学习-序列模型+语言模型

序列模型

处理序列数据需要统计工具和新的深度神经网络架构。

 

                

        ​​​​​​​        

总结：

时序模型中，当前数据跟之前观察到的数据相关

 自回归模型使用自身过去数据来预测未来

马尔科夫模型假设当前只跟最近少数据相关，从而简化模型

潜变量模型使用潜变量来概括历史信息

语言模型

给定文本序列x1,x2,x3.....xT,语言模型的目标是估计联合改立p(x1,x2...xT)

应用包括：

做预训练模型；生成文本；判断多个序列中哪个更常见

        ​​​​​​​        ​​​​​​​       

使用统计方法是常用n元语法。