草青工作室 的专栏

NLP - ngram - N元语言模型 python 实现一、说明N-Gram N元语言模型： N-Gram（有时也称为N元模型）是自然语言处理中一个非常重要的概念，通常在NLP中，人们基于一定的语料库，可以利用N-Gram来预计或者评估一个句子是否合理。另外一方面，N-Gram的另外一个作用是用来评估两个字符串之间的差异程度。这是模糊匹配中常用的一种手段。 N-Gram 表示，定义一个长度为 N，步长为 1 的滑动窗口，切分原字符串得到的词段。假设 N = 2 时得到一个...

NLP-python-马尔科夫链（markov）-文本句子生成器实现一、markov算法说明：该算法的基本原理是将输入看成是由一些互相重叠的短语构成的序列。其将每个短语分割为两个部分：一部分是由多个词构成的前缀，另一部分是只包含一个词的后缀。在生成文本时依据原文本的统计性质（即前缀确定的情况下，得到所有可能的后缀），随机地选择某前缀后面的特定后缀。二、markov算法分解示例假设前缀长度为两词（中文可以为两个字），则马尔可夫链（Markov Chain）随机文本生成算法如下：1.设滑动窗