基于马尔可夫模型的文本生成器

马尔可夫过程

只需要知道：
马尔可夫过程就是未来只与现在有关，与过去无关。
马尔科夫链（Markov）是最简单的马氏过程，即时间和状态过程的取值参数都是离散的马氏过程。
例如：
我知道一个事件第一天的概率分布；
还是知道一个马尔可夫的转移矩阵；
那么一个马尔可夫链就是——第一天到第二天的转移概率矩阵和第二天到第三天的转移概率矩阵是一样的，和此后每一天的都一样。

在马尔可夫模型中，

做一个文本生成器

获得一篇.txt文档（英文）

from urllib.request import urlopen
from random import randint

def wordListSum(wordList):
    sum = 0
    for word, value in wordList.items():
        sum += value
    return sum

def retrieveRandomWord(wordList):
    randIndex = randint(1, wordListSum(wordList))
    for word, value in wordList.items():
        randIndex -= value
        if randIndex <= 0:
            return word

def buildWordDict(text):
    # 把换行和引号除去
    text = text.replace('\n', ' ');
    text = text.replace('"', '');

    # 所有标点符号都变成空格 则能够提取单词
    punctuation = [',','.',';',':']
    for symbol in punctuation:
        text = text.replace(symbol, ' {} '.format(symbol));

    words = text.split(' ')
    # Filter out empty words
    words = [word for word in words if word != '']

    wordDict = {}
    for i in range(1, len(words)):#获得一个二维字典（详细分析在后面）
        if words[i-1] not in wordDict:
                # Create a new dictionary for this word
            wordDict[words[i-1]] = {}
        if words[i] not in wordDict[words[i-1]]:
            wordDict[words[i-1]][words[i]] = 0
        wordDict[words[i-1]][words[i]] += 1
    return wordDict

text = str(urlopen('http://pythonscraping.com/files/inaugurationSpeech.txt')
          .read(), 'utf-8')
wordDict = buildWordDict(text)

#以I开头生成一个100单词的马尔可夫链 
length = 100
chain = ['I']
for i in range(0, length):
    newWord = retrieveRandomWord(wordDict[chain[-1]])
    chain.append(newWord)

print(' '.join(chain))

关于生成一个二维字典

{word_a : {word_b : 2, word_c : 1}, word_d : {word_ b : 3, word _c:2}…}

也就是说对于节点A有2/3的概率未来（后面）发生节点B， 有1/3的概率未来（后面）发生节点C。
在字典创建后，从任意节点通过retrieveRandomWord函数随机获取一个单词，获取其后的二维字典进行迭代。

关于 NLTK工具包

用于对英文单词进行筛选和语料分析。