from : http://www.cnblogs.com/pinard/p/6677078.html
在做文本挖掘的时候,首先要做的预处理就是分词。英文单词天然有空格隔开容易按照空格分词,但是也有时候需要把多个单词做为一个分词,比如一些名词如“New York”,需要做为一个词看待。而中文由于没有空格,分词就是一个需要专门去解决的问题了。无论是英文还是中文,分词的原理都是类似的,本文就对文本挖掘时的分词原理做一个总结。
1. 分词的基本原理
现代分词都是基于统计的分词,而统计的样本内容来自于一些标准的语料库。假如有一个句子:“小明来到荔湾区”,我们期望语料库统计后分词的结果是:"小明/来到/荔湾/区",而不是“小明/来到/荔/湾区”。那么如何做到这一点呢?
从统计的角度,我们期望"小明/来到/荔湾/区"这个分词后句子出现的概率要比“小明/来到/荔/湾区”大。如果用数学的语言来说说,如果有一个句子
S,它有m种分词选项如下:
![](https://i-blog.csdnimg.cn/blog_migrate/f95852b265d0bdc38a2afbed8dd1a0df.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d72980d5c065ca3dffefddcdb7e93c7f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d72980d5c065ca3dffefddcdb7e93c7f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f95852b265d0bdc38a2afbed8dd1a0df.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d72980d5c065ca3dffefddcdb7e93c7f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e16ed13dd074900564c36450cbc51936.png)
![](https://i-blog.csdnimg.cn/blog_migrate/16f1221a43a445c1b6211f99b4e63ca9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/16f1221a43a445c1b6211f99b4e63ca9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/16f1221a43a445c1b6211f99b4e63ca9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f95852b265d0bdc38a2afbed8dd1a0df.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d72980d5c065ca3dffefddcdb7e93c7f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/498553f4b8b3693a704ea79f272e8daf.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9736c10b88e776b427b882ffa4126469.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f95852b265d0bdc38a2afbed8dd1a0df.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e16ed13dd074900564c36450cbc51936.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d72980d5c065ca3dffefddcdb7e93c7f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f95852b265d0bdc38a2afbed8dd1a0df.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e16ed13dd074900564c36450cbc51936.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e16ed13dd074900564c36450cbc51936.png)
![](https://i-blog.csdnimg.cn/blog_migrate/16f1221a43a445c1b6211f99b4e63ca9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/16f1221a43a445c1b6211f99b4e63ca9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/16f1221a43a445c1b6211f99b4e63ca9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f95852b265d0bdc38a2afbed8dd1a0df.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e16ed13dd074900564c36450cbc51936.png)
![](https://i-blog.csdnimg.cn/blog_migrate/498553f4b8b3693a704ea79f272e8daf.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5a2d809e59861ba404c4cc757865efd9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/16f1221a43a445c1b6211f99b4e63ca9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/16f1221a43a445c1b6211f99b4e63ca9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/16f1221a43a445c1b6211f99b4e63ca9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/16f1221a43a445c1b6211f99b4e63ca9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/16f1221a43a445c1b6211f99b4e63ca9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/16f1221a43a445c1b6211f99b4e63ca9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/16f1221a43a445c1b6211f99b4e63ca9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/16f1221a43a445c1b6211f99b4e63ca9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/16f1221a43a445c1b6211f99b4e63ca9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/16f1221a43a445c1b6211f99b4e63ca9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/16f1221a43a445c1b6211f99b4e63ca9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/16f1221a43a445c1b6211f99b4e63ca9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f95852b265d0bdc38a2afbed8dd1a0df.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4090588659a27c70cf173a3162025e56.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d72980d5c065ca3dffefddcdb7e93c7f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f95852b265d0bdc38a2afbed8dd1a0df.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4090588659a27c70cf173a3162025e56.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e16ed13dd074900564c36450cbc51936.png)
![](https://i-blog.csdnimg.cn/blog_migrate/16f1221a43a445c1b6211f99b4e63ca9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/16f1221a43a445c1b6211f99b4e63ca9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/16f1221a43a445c1b6211f99b4e63ca9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f95852b265d0bdc38a2afbed8dd1a0df.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4090588659a27c70cf173a3162025e56.png)
![](https://i-blog.csdnimg.cn/blog_migrate/498553f4b8b3693a704ea79f272e8daf.png)
![](https://i-blog.csdnimg.cn/blog_migrate/a2eb32bf790fda74052d3c49a83d3cd4.png)
其中下标
ni代表第
i种分词的词个数。如果我们从中选择了最优的第
r种分词方法,那么这种分词方法对应的统计分布概率应该最大,即:
![](https://i-blog.csdnimg.cn/blog_migrate/f0c96963f605c8ad9a869aab53b1e3a6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ea1427b35156b2b0086f52379daa974b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d5c64c5c600b929983cb4ffc6dce6fd4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f0c96963f605c8ad9a869aab53b1e3a6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/214d18b33a95685f07c287bb85fffef7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/142ba582d6e3aa37e03307531e79bdaa.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d5c64c5c600b929983cb4ffc6dce6fd4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5d6189c2cca9ac6e053574471a547849.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b6ae062041906184a913f23f1272b883.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3d8d194a97a025a24f7ae93f55d4a202.png)
![](https://i-blog.csdnimg.cn/blog_migrate/48f038bcebb382d55bcea3eb68c63aca.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fdf3ead77707c3f1a58a682a28cc4451.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3de726d28cdc0f2a7a7752f50d0da25e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3de726d28cdc0f2a7a7752f50d0da25e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3de726d28cdc0f2a7a7752f50d0da25e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3de726d28cdc0f2a7a7752f50d0da25e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3de726d28cdc0f2a7a7752f50d0da25e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3de726d28cdc0f2a7a7752f50d0da25e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/70f2647b9cc3398e8fb3b3a0864adecb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b46a72ce2e23536a72f96f4000761410.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f95852b265d0bdc38a2afbed8dd1a0df.png)
![](https://i-blog.csdnimg.cn/blog_migrate/70f2647b9cc3398e8fb3b3a0864adecb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d72980d5c065ca3dffefddcdb7e93c7f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/37d00824bd2fd501a40e89ac8cacdaa9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f95852b265d0bdc38a2afbed8dd1a0df.png)
![](https://i-blog.csdnimg.cn/blog_migrate/70f2647b9cc3398e8fb3b3a0864adecb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e16ed13dd074900564c36450cbc51936.png)
![](https://i-blog.csdnimg.cn/blog_migrate/37d00824bd2fd501a40e89ac8cacdaa9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/16f1221a43a445c1b6211f99b4e63ca9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/16f1221a43a445c1b6211f99b4e63ca9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/16f1221a43a445c1b6211f99b4e63ca9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/37d00824bd2fd501a40e89ac8cacdaa9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f95852b265d0bdc38a2afbed8dd1a0df.png)
![](https://i-blog.csdnimg.cn/blog_migrate/70f2647b9cc3398e8fb3b3a0864adecb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/498553f4b8b3693a704ea79f272e8daf.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d52a92425cad52bc9c362e8aeeb46463.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
但是我们的概率分布
P(Ai1,Ai2,...,Aini)并不好求出来,因为它涉及到
ni个分词的联合分布。在NLP中,为了简化计算,我们通常使用马尔科夫假设,即每一个分词出现的概率仅仅和前一个分词有关,即:
![](https://i-blog.csdnimg.cn/blog_migrate/b46a72ce2e23536a72f96f4000761410.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f95852b265d0bdc38a2afbed8dd1a0df.png)
![](https://i-blog.csdnimg.cn/blog_migrate/70f2647b9cc3398e8fb3b3a0864adecb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5e72cb2409489e3637463a03de925d09.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bb813e3652bae9e0831c9556a268d6a6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f95852b265d0bdc38a2afbed8dd1a0df.png)
![](https://i-blog.csdnimg.cn/blog_migrate/70f2647b9cc3398e8fb3b3a0864adecb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d72980d5c065ca3dffefddcdb7e93c7f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/37d00824bd2fd501a40e89ac8cacdaa9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f95852b265d0bdc38a2afbed8dd1a0df.png)
![](https://i-blog.csdnimg.cn/blog_migrate/70f2647b9cc3398e8fb3b3a0864adecb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e16ed13dd074900564c36450cbc51936.png)
![](https://i-blog.csdnimg.cn/blog_migrate/37d00824bd2fd501a40e89ac8cacdaa9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/16f1221a43a445c1b6211f99b4e63ca9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/16f1221a43a445c1b6211f99b4e63ca9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/16f1221a43a445c1b6211f99b4e63ca9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/37d00824bd2fd501a40e89ac8cacdaa9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f95852b265d0bdc38a2afbed8dd1a0df.png)
![](https://i-blog.csdnimg.cn/blog_migrate/70f2647b9cc3398e8fb3b3a0864adecb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d449512a6501eb768d0ff5c57243152b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5e72cb2409489e3637463a03de925d09.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4e78f494a464c8f968b7e2bb4dc43712.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d72980d5c065ca3dffefddcdb7e93c7f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d81fa372b1e278750a6ce20b08ba514a.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ea1427b35156b2b0086f52379daa974b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b46a72ce2e23536a72f96f4000761410.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f95852b265d0bdc38a2afbed8dd1a0df.png)
![](https://i-blog.csdnimg.cn/blog_migrate/70f2647b9cc3398e8fb3b3a0864adecb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5e72cb2409489e3637463a03de925d09.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bb813e3652bae9e0831c9556a268d6a6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f95852b265d0bdc38a2afbed8dd1a0df.png)
![](https://i-blog.csdnimg.cn/blog_migrate/70f2647b9cc3398e8fb3b3a0864adecb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d449512a6501eb768d0ff5c57243152b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5e72cb2409489e3637463a03de925d09.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4e78f494a464c8f968b7e2bb4dc43712.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d72980d5c065ca3dffefddcdb7e93c7f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d81fa372b1e278750a6ce20b08ba514a.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
在前面我们讲MCMC采样时,也用到了相同的假设来简化模型复杂度。使用了马尔科夫假设,则我们的联合分布就好求了,即:
![](https://i-blog.csdnimg.cn/blog_migrate/b46a72ce2e23536a72f96f4000761410.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f95852b265d0bdc38a2afbed8dd1a0df.png)
![](https://i-blog.csdnimg.cn/blog_migrate/70f2647b9cc3398e8fb3b3a0864adecb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d72980d5c065ca3dffefddcdb7e93c7f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/37d00824bd2fd501a40e89ac8cacdaa9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f95852b265d0bdc38a2afbed8dd1a0df.png)
![](https://i-blog.csdnimg.cn/blog_migrate/70f2647b9cc3398e8fb3b3a0864adecb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e16ed13dd074900564c36450cbc51936.png)
![](https://i-blog.csdnimg.cn/blog_migrate/37d00824bd2fd501a40e89ac8cacdaa9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/16f1221a43a445c1b6211f99b4e63ca9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/16f1221a43a445c1b6211f99b4e63ca9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/16f1221a43a445c1b6211f99b4e63ca9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/37d00824bd2fd501a40e89ac8cacdaa9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f95852b265d0bdc38a2afbed8dd1a0df.png)
![](https://i-blog.csdnimg.cn/blog_migrate/70f2647b9cc3398e8fb3b3a0864adecb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/498553f4b8b3693a704ea79f272e8daf.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d52a92425cad52bc9c362e8aeeb46463.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ea1427b35156b2b0086f52379daa974b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b46a72ce2e23536a72f96f4000761410.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f95852b265d0bdc38a2afbed8dd1a0df.png)
![](https://i-blog.csdnimg.cn/blog_migrate/70f2647b9cc3398e8fb3b3a0864adecb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d72980d5c065ca3dffefddcdb7e93c7f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b46a72ce2e23536a72f96f4000761410.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f95852b265d0bdc38a2afbed8dd1a0df.png)
![](https://i-blog.csdnimg.cn/blog_migrate/70f2647b9cc3398e8fb3b3a0864adecb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e16ed13dd074900564c36450cbc51936.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bb813e3652bae9e0831c9556a268d6a6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f95852b265d0bdc38a2afbed8dd1a0df.png)
![](https://i-blog.csdnimg.cn/blog_migrate/70f2647b9cc3398e8fb3b3a0864adecb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d72980d5c065ca3dffefddcdb7e93c7f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b46a72ce2e23536a72f96f4000761410.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f95852b265d0bdc38a2afbed8dd1a0df.png)
![](https://i-blog.csdnimg.cn/blog_migrate/70f2647b9cc3398e8fb3b3a0864adecb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ee495db0ba748e2f7b66310cbc594aff.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bb813e3652bae9e0831c9556a268d6a6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f95852b265d0bdc38a2afbed8dd1a0df.png)
![](https://i-blog.csdnimg.cn/blog_migrate/70f2647b9cc3398e8fb3b3a0864adecb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e16ed13dd074900564c36450cbc51936.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/16f1221a43a445c1b6211f99b4e63ca9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/16f1221a43a445c1b6211f99b4e63ca9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/16f1221a43a445c1b6211f99b4e63ca9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b46a72ce2e23536a72f96f4000761410.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f95852b265d0bdc38a2afbed8dd1a0df.png)
![](https://i-blog.csdnimg.cn/blog_migrate/70f2647b9cc3398e8fb3b3a0864adecb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/498553f4b8b3693a704ea79f272e8daf.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d52a92425cad52bc9c362e8aeeb46463.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bb813e3652bae9e0831c9556a268d6a6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f95852b265d0bdc38a2afbed8dd1a0df.png)
![](https://i-blog.csdnimg.cn/blog_migrate/70f2647b9cc3398e8fb3b3a0864adecb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d449512a6501eb768d0ff5c57243152b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/498553f4b8b3693a704ea79f272e8daf.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d52a92425cad52bc9c362e8aeeb46463.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4e78f494a464c8f968b7e2bb4dc43712.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d72980d5c065ca3dffefddcdb7e93c7f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d81fa372b1e278750a6ce20b08ba514a.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
而通过我们的标准语料库,我们可以近似的计算出所有的分词之间的二元条件概率,比如任意两个词
w1,w2,它们的条件概率分布可以近似的表示为:
![](https://i-blog.csdnimg.cn/blog_migrate/b46a72ce2e23536a72f96f4000761410.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/35b4daa3501422f13dca3b8fb4f48737.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e16ed13dd074900564c36450cbc51936.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bb813e3652bae9e0831c9556a268d6a6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/35b4daa3501422f13dca3b8fb4f48737.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d72980d5c065ca3dffefddcdb7e93c7f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ea1427b35156b2b0086f52379daa974b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b46a72ce2e23536a72f96f4000761410.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/35b4daa3501422f13dca3b8fb4f48737.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d72980d5c065ca3dffefddcdb7e93c7f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/37d00824bd2fd501a40e89ac8cacdaa9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/35b4daa3501422f13dca3b8fb4f48737.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e16ed13dd074900564c36450cbc51936.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b46a72ce2e23536a72f96f4000761410.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/35b4daa3501422f13dca3b8fb4f48737.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d72980d5c065ca3dffefddcdb7e93c7f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/c6b6ede88d2c1425dedae6108b41c14e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/94240916b64801c335af0659d97f6a4e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f0c96963f605c8ad9a869aab53b1e3a6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5c337193c746983e1144936298f266ff.png)
![](https://i-blog.csdnimg.cn/blog_migrate/714ff670784f7f05b961e6497960f1a7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/35b4daa3501422f13dca3b8fb4f48737.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d72980d5c065ca3dffefddcdb7e93c7f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/37d00824bd2fd501a40e89ac8cacdaa9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/35b4daa3501422f13dca3b8fb4f48737.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e16ed13dd074900564c36450cbc51936.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/94240916b64801c335af0659d97f6a4e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f0c96963f605c8ad9a869aab53b1e3a6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5c337193c746983e1144936298f266ff.png)
![](https://i-blog.csdnimg.cn/blog_migrate/714ff670784f7f05b961e6497960f1a7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/35b4daa3501422f13dca3b8fb4f48737.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d72980d5c065ca3dffefddcdb7e93c7f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b46a72ce2e23536a72f96f4000761410.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/35b4daa3501422f13dca3b8fb4f48737.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d72980d5c065ca3dffefddcdb7e93c7f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bb813e3652bae9e0831c9556a268d6a6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/35b4daa3501422f13dca3b8fb4f48737.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e16ed13dd074900564c36450cbc51936.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ea1427b35156b2b0086f52379daa974b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b46a72ce2e23536a72f96f4000761410.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/35b4daa3501422f13dca3b8fb4f48737.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e16ed13dd074900564c36450cbc51936.png)
![](https://i-blog.csdnimg.cn/blog_migrate/37d00824bd2fd501a40e89ac8cacdaa9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/35b4daa3501422f13dca3b8fb4f48737.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d72980d5c065ca3dffefddcdb7e93c7f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b46a72ce2e23536a72f96f4000761410.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/35b4daa3501422f13dca3b8fb4f48737.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e16ed13dd074900564c36450cbc51936.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/c6b6ede88d2c1425dedae6108b41c14e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/94240916b64801c335af0659d97f6a4e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f0c96963f605c8ad9a869aab53b1e3a6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5c337193c746983e1144936298f266ff.png)
![](https://i-blog.csdnimg.cn/blog_migrate/714ff670784f7f05b961e6497960f1a7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/35b4daa3501422f13dca3b8fb4f48737.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d72980d5c065ca3dffefddcdb7e93c7f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/37d00824bd2fd501a40e89ac8cacdaa9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/35b4daa3501422f13dca3b8fb4f48737.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e16ed13dd074900564c36450cbc51936.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/94240916b64801c335af0659d97f6a4e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f0c96963f605c8ad9a869aab53b1e3a6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5c337193c746983e1144936298f266ff.png)
![](https://i-blog.csdnimg.cn/blog_migrate/714ff670784f7f05b961e6497960f1a7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/35b4daa3501422f13dca3b8fb4f48737.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e16ed13dd074900564c36450cbc51936.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
其中
freq(w1,w2)表示
w1,w2在语料库中相邻一起出现的次数,而其中
freq(w1),freq(w2)分别表示
w1,w2在语料库中出现的统计次数。
利用语料库建立的统计概率,对于一个新的句子,我们就可以通过计算各种分词方法对应的联合分布概率,找到最大概率对应的分词方法,即为最优分词。
2. N元模型
当然,你会说,只依赖于前一个词太武断了,我们能不能依赖于前两个词呢?即:
![](https://i-blog.csdnimg.cn/blog_migrate/b46a72ce2e23536a72f96f4000761410.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f95852b265d0bdc38a2afbed8dd1a0df.png)
![](https://i-blog.csdnimg.cn/blog_migrate/70f2647b9cc3398e8fb3b3a0864adecb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d72980d5c065ca3dffefddcdb7e93c7f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/37d00824bd2fd501a40e89ac8cacdaa9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f95852b265d0bdc38a2afbed8dd1a0df.png)
![](https://i-blog.csdnimg.cn/blog_migrate/70f2647b9cc3398e8fb3b3a0864adecb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e16ed13dd074900564c36450cbc51936.png)
![](https://i-blog.csdnimg.cn/blog_migrate/37d00824bd2fd501a40e89ac8cacdaa9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/16f1221a43a445c1b6211f99b4e63ca9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/16f1221a43a445c1b6211f99b4e63ca9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/16f1221a43a445c1b6211f99b4e63ca9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/37d00824bd2fd501a40e89ac8cacdaa9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f95852b265d0bdc38a2afbed8dd1a0df.png)
![](https://i-blog.csdnimg.cn/blog_migrate/70f2647b9cc3398e8fb3b3a0864adecb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/498553f4b8b3693a704ea79f272e8daf.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d52a92425cad52bc9c362e8aeeb46463.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ea1427b35156b2b0086f52379daa974b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b46a72ce2e23536a72f96f4000761410.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f95852b265d0bdc38a2afbed8dd1a0df.png)
![](https://i-blog.csdnimg.cn/blog_migrate/70f2647b9cc3398e8fb3b3a0864adecb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d72980d5c065ca3dffefddcdb7e93c7f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b46a72ce2e23536a72f96f4000761410.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f95852b265d0bdc38a2afbed8dd1a0df.png)
![](https://i-blog.csdnimg.cn/blog_migrate/70f2647b9cc3398e8fb3b3a0864adecb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e16ed13dd074900564c36450cbc51936.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bb813e3652bae9e0831c9556a268d6a6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f95852b265d0bdc38a2afbed8dd1a0df.png)
![](https://i-blog.csdnimg.cn/blog_migrate/70f2647b9cc3398e8fb3b3a0864adecb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d72980d5c065ca3dffefddcdb7e93c7f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b46a72ce2e23536a72f96f4000761410.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f95852b265d0bdc38a2afbed8dd1a0df.png)
![](https://i-blog.csdnimg.cn/blog_migrate/70f2647b9cc3398e8fb3b3a0864adecb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ee495db0ba748e2f7b66310cbc594aff.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bb813e3652bae9e0831c9556a268d6a6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f95852b265d0bdc38a2afbed8dd1a0df.png)
![](https://i-blog.csdnimg.cn/blog_migrate/70f2647b9cc3398e8fb3b3a0864adecb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d72980d5c065ca3dffefddcdb7e93c7f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f95852b265d0bdc38a2afbed8dd1a0df.png)
![](https://i-blog.csdnimg.cn/blog_migrate/70f2647b9cc3398e8fb3b3a0864adecb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e16ed13dd074900564c36450cbc51936.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/16f1221a43a445c1b6211f99b4e63ca9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/16f1221a43a445c1b6211f99b4e63ca9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/16f1221a43a445c1b6211f99b4e63ca9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b46a72ce2e23536a72f96f4000761410.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f95852b265d0bdc38a2afbed8dd1a0df.png)
![](https://i-blog.csdnimg.cn/blog_migrate/70f2647b9cc3398e8fb3b3a0864adecb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/498553f4b8b3693a704ea79f272e8daf.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d52a92425cad52bc9c362e8aeeb46463.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bb813e3652bae9e0831c9556a268d6a6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f95852b265d0bdc38a2afbed8dd1a0df.png)
![](https://i-blog.csdnimg.cn/blog_migrate/70f2647b9cc3398e8fb3b3a0864adecb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d449512a6501eb768d0ff5c57243152b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/498553f4b8b3693a704ea79f272e8daf.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d52a92425cad52bc9c362e8aeeb46463.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4e78f494a464c8f968b7e2bb4dc43712.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e16ed13dd074900564c36450cbc51936.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d81fa372b1e278750a6ce20b08ba514a.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f95852b265d0bdc38a2afbed8dd1a0df.png)
![](https://i-blog.csdnimg.cn/blog_migrate/70f2647b9cc3398e8fb3b3a0864adecb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d449512a6501eb768d0ff5c57243152b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/498553f4b8b3693a704ea79f272e8daf.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d52a92425cad52bc9c362e8aeeb46463.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4e78f494a464c8f968b7e2bb4dc43712.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d72980d5c065ca3dffefddcdb7e93c7f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d81fa372b1e278750a6ce20b08ba514a.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
这样也是可以的,只不过这样联合分布的计算量就大大增加了。我们一般称只依赖于前一个词的模型为二元模型(Bi-Gram model),而依赖于前两个词的模型为三元模型。以此类推,我们可以建立四元模型,五元模型,...一直到通用的
N元模型。越往后,概率分布的计算复杂度越高。当然算法的原理是类似的。
在实际应用中,
N一般都较小,一般都小于4,主要原因是N元模型概率分布的空间复杂度为
O(|V|N),其中
|V|为语料库大小,而
N为模型的元数,当
N增大时,复杂度呈指数级的增长。
N元模型的分词方法虽然很好,但是要在实际中应用也有很多问题,首先,某些生僻词,或者相邻分词联合分布在语料库中没有,概率为0。这种情况我们一般会使用拉普拉斯平滑,即给它一个较小的概率值,这个方法在朴素贝叶斯算法原理小结也有讲到。第二个问题是如果句子长,分词有很多情况,计算量也非常大,这时我们可以用下一节维特比算法来优化算法时间复杂度。
3. 维特比算法与分词
为了简化原理描述,我们本节的讨论都是以二元模型为基础。
对于一个有很多分词可能的长句子,我们当然可以用暴力方法去计算出所有的分词可能的概率,再找出最优分词方法。但是用维特比算法可以大大简化求出最优分词的时间。
大家一般知道维特比算法是用于隐式马尔科夫模型HMM解码算法的,但是它是一个通用的求序列最短路径的方法,不光可以用于HMM,也可以用于其他的序列最短路径算法,比如最优分词。
维特比算法采用的是动态规划来解决这个最优分词问题的,动态规划要求局部路径也是最优路径的一部分,很显然我们的问题是成立的。首先我们看一个简单的分词例子:"人生如梦境"。它的可能分词可以用下面的概率图表示:
图中的箭头为通过统计语料库而得到的对应的各分词条件概率。比如P(生|人)=0.17。有了这个图,维特比算法需要找到从Start到End之间的一条最短路径。对于在End之前的任意一个当前局部节点,我们需要得到到达该节点的最大概率
δ,和记录到达当前节点满足最大概率的前一节点位置
Ψ。
我们先用这个例子来观察维特比算法的过程。首先我们初始化有:
![](https://i-blog.csdnimg.cn/blog_migrate/cbc59c0674bb2195d750950aae07d254.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ea1427b35156b2b0086f52379daa974b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/18c715c1060a80c378cd985509507df0.png)
![](https://i-blog.csdnimg.cn/blog_migrate/16f1221a43a445c1b6211f99b4e63ca9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1edf74d89773351d9c1f8fe9143669f6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0fff0dbe27d28e504e62d55a4a3d8a9c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f0000aad50da92311efa5fc896f8f1a4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ea1427b35156b2b0086f52379daa974b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/87c8ea1d137b004479d3b5993836da6a.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5997f03d18375b1141fc3ef111cb1e50.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d5c64c5c600b929983cb4ffc6dce6fd4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f0c96963f605c8ad9a869aab53b1e3a6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5997f03d18375b1141fc3ef111cb1e50.png)
![](https://i-blog.csdnimg.cn/blog_migrate/cbc59c0674bb2195d750950aae07d254.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ea1427b35156b2b0086f52379daa974b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/18c715c1060a80c378cd985509507df0.png)
![](https://i-blog.csdnimg.cn/blog_migrate/16f1221a43a445c1b6211f99b4e63ca9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3f5a62c5dd7b5fe81c45f4cd2de38187.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3f5a62c5dd7b5fe81c45f4cd2de38187.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f0000aad50da92311efa5fc896f8f1a4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ea1427b35156b2b0086f52379daa974b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/87c8ea1d137b004479d3b5993836da6a.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5997f03d18375b1141fc3ef111cb1e50.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d5c64c5c600b929983cb4ffc6dce6fd4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f0c96963f605c8ad9a869aab53b1e3a6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5997f03d18375b1141fc3ef111cb1e50.png)
对于节点"生",它只有一个前向节点,因此有:
![](https://i-blog.csdnimg.cn/blog_migrate/cbc59c0674bb2195d750950aae07d254.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ea1427b35156b2b0086f52379daa974b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/cbc59c0674bb2195d750950aae07d254.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b46a72ce2e23536a72f96f4000761410.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bb813e3652bae9e0831c9556a268d6a6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ea1427b35156b2b0086f52379daa974b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/18c715c1060a80c378cd985509507df0.png)
![](https://i-blog.csdnimg.cn/blog_migrate/16f1221a43a445c1b6211f99b4e63ca9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/18c715c1060a80c378cd985509507df0.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3f5a62c5dd7b5fe81c45f4cd2de38187.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3f5a62c5dd7b5fe81c45f4cd2de38187.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1edf74d89773351d9c1f8fe9143669f6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f0000aad50da92311efa5fc896f8f1a4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ea1427b35156b2b0086f52379daa974b.png)
对于节点"如",就稍微复杂一点了,因为它有多个前向节点,我们要计算出到“如”概率最大的路径:
![](https://i-blog.csdnimg.cn/blog_migrate/cbc59c0674bb2195d750950aae07d254.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ea1427b35156b2b0086f52379daa974b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/142ba582d6e3aa37e03307531e79bdaa.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d5c64c5c600b929983cb4ffc6dce6fd4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5d6189c2cca9ac6e053574471a547849.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9837b78af613d7cfb4d75884f4f7a6f1.png)
![](https://i-blog.csdnimg.cn/blog_migrate/cbc59c0674bb2195d750950aae07d254.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b46a72ce2e23536a72f96f4000761410.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bb813e3652bae9e0831c9556a268d6a6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/cbc59c0674bb2195d750950aae07d254.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b46a72ce2e23536a72f96f4000761410.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bb813e3652bae9e0831c9556a268d6a6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7225f00b57a1368c7824e00aace11e20.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ea1427b35156b2b0086f52379daa974b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/142ba582d6e3aa37e03307531e79bdaa.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d5c64c5c600b929983cb4ffc6dce6fd4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5d6189c2cca9ac6e053574471a547849.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9837b78af613d7cfb4d75884f4f7a6f1.png)
![](https://i-blog.csdnimg.cn/blog_migrate/18c715c1060a80c378cd985509507df0.png)
![](https://i-blog.csdnimg.cn/blog_migrate/16f1221a43a445c1b6211f99b4e63ca9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/18c715c1060a80c378cd985509507df0.png)
![](https://i-blog.csdnimg.cn/blog_migrate/63b8bad5809170eebeab8cd1c7a261ba.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0fff0dbe27d28e504e62d55a4a3d8a9c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/83f9524ac16c33a2d37067aff87251b3.png)
![](https://i-blog.csdnimg.cn/blog_migrate/18c715c1060a80c378cd985509507df0.png)
![](https://i-blog.csdnimg.cn/blog_migrate/37d00824bd2fd501a40e89ac8cacdaa9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/18c715c1060a80c378cd985509507df0.png)
![](https://i-blog.csdnimg.cn/blog_migrate/16f1221a43a445c1b6211f99b4e63ca9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/85d9f4ad7b811cdd69dbb145ea94acda.png)
![](https://i-blog.csdnimg.cn/blog_migrate/63b8bad5809170eebeab8cd1c7a261ba.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0fff0dbe27d28e504e62d55a4a3d8a9c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/83f9524ac16c33a2d37067aff87251b3.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7225f00b57a1368c7824e00aace11e20.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ea1427b35156b2b0086f52379daa974b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/18c715c1060a80c378cd985509507df0.png)
![](https://i-blog.csdnimg.cn/blog_migrate/16f1221a43a445c1b6211f99b4e63ca9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/85d9f4ad7b811cdd69dbb145ea94acda.png)
![](https://i-blog.csdnimg.cn/blog_migrate/63b8bad5809170eebeab8cd1c7a261ba.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0fff0dbe27d28e504e62d55a4a3d8a9c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/83f9524ac16c33a2d37067aff87251b3.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f0000aad50da92311efa5fc896f8f1a4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ea1427b35156b2b0086f52379daa974b.png)
类似的方法可以用于其他节点如下:
![](https://i-blog.csdnimg.cn/blog_migrate/cbc59c0674bb2195d750950aae07d254.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ea1427b35156b2b0086f52379daa974b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/cbc59c0674bb2195d750950aae07d254.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b46a72ce2e23536a72f96f4000761410.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bb813e3652bae9e0831c9556a268d6a6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ea1427b35156b2b0086f52379daa974b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/18c715c1060a80c378cd985509507df0.png)
![](https://i-blog.csdnimg.cn/blog_migrate/16f1221a43a445c1b6211f99b4e63ca9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1edf74d89773351d9c1f8fe9143669f6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3f5a62c5dd7b5fe81c45f4cd2de38187.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1edf74d89773351d9c1f8fe9143669f6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f0000aad50da92311efa5fc896f8f1a4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ea1427b35156b2b0086f52379daa974b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/cbc59c0674bb2195d750950aae07d254.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ea1427b35156b2b0086f52379daa974b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/cbc59c0674bb2195d750950aae07d254.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b46a72ce2e23536a72f96f4000761410.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bb813e3652bae9e0831c9556a268d6a6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ea1427b35156b2b0086f52379daa974b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/18c715c1060a80c378cd985509507df0.png)
![](https://i-blog.csdnimg.cn/blog_migrate/16f1221a43a445c1b6211f99b4e63ca9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/63b8bad5809170eebeab8cd1c7a261ba.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7a8e27a8d702ffd17cb4c66ed8b31677.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7a8e27a8d702ffd17cb4c66ed8b31677.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0fff0dbe27d28e504e62d55a4a3d8a9c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f0000aad50da92311efa5fc896f8f1a4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ea1427b35156b2b0086f52379daa974b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/cbc59c0674bb2195d750950aae07d254.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ea1427b35156b2b0086f52379daa974b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/142ba582d6e3aa37e03307531e79bdaa.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d5c64c5c600b929983cb4ffc6dce6fd4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5d6189c2cca9ac6e053574471a547849.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9837b78af613d7cfb4d75884f4f7a6f1.png)
![](https://i-blog.csdnimg.cn/blog_migrate/cbc59c0674bb2195d750950aae07d254.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b46a72ce2e23536a72f96f4000761410.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bb813e3652bae9e0831c9556a268d6a6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/37d00824bd2fd501a40e89ac8cacdaa9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/cbc59c0674bb2195d750950aae07d254.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b46a72ce2e23536a72f96f4000761410.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bb813e3652bae9e0831c9556a268d6a6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7225f00b57a1368c7824e00aace11e20.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ea1427b35156b2b0086f52379daa974b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/142ba582d6e3aa37e03307531e79bdaa.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d5c64c5c600b929983cb4ffc6dce6fd4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5d6189c2cca9ac6e053574471a547849.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9837b78af613d7cfb4d75884f4f7a6f1.png)
![](https://i-blog.csdnimg.cn/blog_migrate/18c715c1060a80c378cd985509507df0.png)
![](https://i-blog.csdnimg.cn/blog_migrate/16f1221a43a445c1b6211f99b4e63ca9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/18c715c1060a80c378cd985509507df0.png)
![](https://i-blog.csdnimg.cn/blog_migrate/85d9f4ad7b811cdd69dbb145ea94acda.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f492adb62c437f2708219a3cecbb50b8.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7a8e27a8d702ffd17cb4c66ed8b31677.png)
![](https://i-blog.csdnimg.cn/blog_migrate/37d00824bd2fd501a40e89ac8cacdaa9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/18c715c1060a80c378cd985509507df0.png)
![](https://i-blog.csdnimg.cn/blog_migrate/16f1221a43a445c1b6211f99b4e63ca9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/18c715c1060a80c378cd985509507df0.png)
![](https://i-blog.csdnimg.cn/blog_migrate/85d9f4ad7b811cdd69dbb145ea94acda.png)
![](https://i-blog.csdnimg.cn/blog_migrate/63b8bad5809170eebeab8cd1c7a261ba.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f492adb62c437f2708219a3cecbb50b8.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7225f00b57a1368c7824e00aace11e20.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ea1427b35156b2b0086f52379daa974b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/18c715c1060a80c378cd985509507df0.png)
![](https://i-blog.csdnimg.cn/blog_migrate/16f1221a43a445c1b6211f99b4e63ca9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/18c715c1060a80c378cd985509507df0.png)
![](https://i-blog.csdnimg.cn/blog_migrate/85d9f4ad7b811cdd69dbb145ea94acda.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f492adb62c437f2708219a3cecbb50b8.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7a8e27a8d702ffd17cb4c66ed8b31677.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f0000aad50da92311efa5fc896f8f1a4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ea1427b35156b2b0086f52379daa974b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/cbc59c0674bb2195d750950aae07d254.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ea1427b35156b2b0086f52379daa974b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/cbc59c0674bb2195d750950aae07d254.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b46a72ce2e23536a72f96f4000761410.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bb813e3652bae9e0831c9556a268d6a6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ea1427b35156b2b0086f52379daa974b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/18c715c1060a80c378cd985509507df0.png)
![](https://i-blog.csdnimg.cn/blog_migrate/16f1221a43a445c1b6211f99b4e63ca9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/63b8bad5809170eebeab8cd1c7a261ba.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f492adb62c437f2708219a3cecbb50b8.png)
![](https://i-blog.csdnimg.cn/blog_migrate/83f9524ac16c33a2d37067aff87251b3.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f492adb62c437f2708219a3cecbb50b8.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f0000aad50da92311efa5fc896f8f1a4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ea1427b35156b2b0086f52379daa974b.png)
最后我们看看最终节点End:
![](https://i-blog.csdnimg.cn/blog_migrate/cbc59c0674bb2195d750950aae07d254.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9cf791dd5a088b13401327c22aced722.png)
![](https://i-blog.csdnimg.cn/blog_migrate/11afd3b037b3428d1de43e8edfa8c43b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3a6c19b1ec353b8307c81420dce3dd66.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ea1427b35156b2b0086f52379daa974b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/142ba582d6e3aa37e03307531e79bdaa.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d5c64c5c600b929983cb4ffc6dce6fd4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5d6189c2cca9ac6e053574471a547849.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9837b78af613d7cfb4d75884f4f7a6f1.png)
![](https://i-blog.csdnimg.cn/blog_migrate/cbc59c0674bb2195d750950aae07d254.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b46a72ce2e23536a72f96f4000761410.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9cf791dd5a088b13401327c22aced722.png)
![](https://i-blog.csdnimg.cn/blog_migrate/11afd3b037b3428d1de43e8edfa8c43b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3a6c19b1ec353b8307c81420dce3dd66.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bb813e3652bae9e0831c9556a268d6a6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/37d00824bd2fd501a40e89ac8cacdaa9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/cbc59c0674bb2195d750950aae07d254.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/b46a72ce2e23536a72f96f4000761410.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9cf791dd5a088b13401327c22aced722.png)
![](https://i-blog.csdnimg.cn/blog_migrate/11afd3b037b3428d1de43e8edfa8c43b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3a6c19b1ec353b8307c81420dce3dd66.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bb813e3652bae9e0831c9556a268d6a6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7225f00b57a1368c7824e00aace11e20.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ea1427b35156b2b0086f52379daa974b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/142ba582d6e3aa37e03307531e79bdaa.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d5c64c5c600b929983cb4ffc6dce6fd4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5d6189c2cca9ac6e053574471a547849.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9837b78af613d7cfb4d75884f4f7a6f1.png)
![](https://i-blog.csdnimg.cn/blog_migrate/18c715c1060a80c378cd985509507df0.png)
![](https://i-blog.csdnimg.cn/blog_migrate/16f1221a43a445c1b6211f99b4e63ca9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/18c715c1060a80c378cd985509507df0.png)
![](https://i-blog.csdnimg.cn/blog_migrate/85d9f4ad7b811cdd69dbb145ea94acda.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7a8e27a8d702ffd17cb4c66ed8b31677.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0fff0dbe27d28e504e62d55a4a3d8a9c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/37d00824bd2fd501a40e89ac8cacdaa9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/18c715c1060a80c378cd985509507df0.png)
![](https://i-blog.csdnimg.cn/blog_migrate/16f1221a43a445c1b6211f99b4e63ca9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/18c715c1060a80c378cd985509507df0.png)
![](https://i-blog.csdnimg.cn/blog_migrate/18c715c1060a80c378cd985509507df0.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3f5a62c5dd7b5fe81c45f4cd2de38187.png)
![](https://i-blog.csdnimg.cn/blog_migrate/765c1135e71251d5be2f6d6efffb472b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7225f00b57a1368c7824e00aace11e20.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ea1427b35156b2b0086f52379daa974b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/18c715c1060a80c378cd985509507df0.png)
![](https://i-blog.csdnimg.cn/blog_migrate/16f1221a43a445c1b6211f99b4e63ca9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/18c715c1060a80c378cd985509507df0.png)
![](https://i-blog.csdnimg.cn/blog_migrate/85d9f4ad7b811cdd69dbb145ea94acda.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7a8e27a8d702ffd17cb4c66ed8b31677.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0fff0dbe27d28e504e62d55a4a3d8a9c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f0000aad50da92311efa5fc896f8f1a4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9cf791dd5a088b13401327c22aced722.png)
![](https://i-blog.csdnimg.cn/blog_migrate/11afd3b037b3428d1de43e8edfa8c43b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3a6c19b1ec353b8307c81420dce3dd66.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ea1427b35156b2b0086f52379daa974b.png)
由于最后的最优解为“梦境”,现在我们开始用
Ψ反推:
![](https://i-blog.csdnimg.cn/blog_migrate/f0000aad50da92311efa5fc896f8f1a4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9cf791dd5a088b13401327c22aced722.png)
![](https://i-blog.csdnimg.cn/blog_migrate/11afd3b037b3428d1de43e8edfa8c43b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3a6c19b1ec353b8307c81420dce3dd66.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ea1427b35156b2b0086f52379daa974b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3784bc131cf437bdf43c3a746fab26b5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f0000aad50da92311efa5fc896f8f1a4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ea1427b35156b2b0086f52379daa974b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3784bc131cf437bdf43c3a746fab26b5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f0000aad50da92311efa5fc896f8f1a4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ea1427b35156b2b0086f52379daa974b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3784bc131cf437bdf43c3a746fab26b5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f0000aad50da92311efa5fc896f8f1a4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fa8a302141164742add3f8aceb007d43.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5028967efbebf3e3899742821d9a4d9d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ea1427b35156b2b0086f52379daa974b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5b5539019459039cfd45fd7d03f3c0a1.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5997f03d18375b1141fc3ef111cb1e50.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d5c64c5c600b929983cb4ffc6dce6fd4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f0c96963f605c8ad9a869aab53b1e3a6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5997f03d18375b1141fc3ef111cb1e50.png)
从而最终的分词结果为"人生/如/梦境"。是不是很简单呢。
由于维特比算法我会在后面讲隐式马尔科夫模型HMM解码算法时详细解释,这里就不归纳了。
4. 常用分词工具
对于文本挖掘中需要的分词功能,一般我们会用现有的工具。简单的英文分词不需要任何工具,通过空格和标点符号就可以分词了,而进一步的英文分词推荐使用nltk。对于中文分词,则推荐用结巴分词(jieba)。这些工具使用都很简单。你的分词没有特别的需求直接使用这些分词工具就可以了。
5. 结语
分词是文本挖掘的预处理的重要的一步,分词完成后,我们可以继续做一些其他的特征工程,比如向量化(vectorize),TF-IDF以及Hash trick,这些我们后面再讲。
(欢迎转载,转载请注明出处。欢迎沟通交流: pinard.liu@ericsson.com)