从HMM到RNN

从HMM到RNN

马尔科夫的一阶、二阶无非是上1个2个状态。而RNN及其变种可以回溯到上N个状态。在功效上两者有冲突吗？RNN完败HMM吗？有什么非HMM不可的问题？

1.HMM（隐马尔可夫模型）

2.RNN（循环神经网络）

3.HMM VS RNN

HMM和RNN在基本结构上是挺像的，都是通过hidden state的演化来刻画序列间的依赖关系。不同是：

• HMM本质是一个概率模型，而RNN不是，RNN没有马尔科夫假设，可以考虑很长的历史信息。
• 隐状态的表示: HMM是one hot, RNN是distributed representation。RNN的表示能力强很多，或者说在面对高维度时，表示效率更高。类似nlp里，对单个token的表示，一种是onehot, 一种是word vector。
• 隐状态的演化方式: HMM是线性的，RNN是高度非线性。
• 深度：lstm可以增加depth, 随着depth增加，表示能力指数增加。

RNN的最大优势在于，可以真正充分地利用所有上文信息来预测下一个词，而不像HMM那样，只能开一个n个词的窗口，只用前n个词来预测下一个词。从形式上看，这是一个非常“终极”的模型，毕竟语言模型里能用到的信息，他全用上了。