3.2.3-多元语法

多元语法(N-gram)

1. 自然语言处理的常见技术。
2. N表示任何一个词出现的概率只和其前面的N-1个词有关。

二元语法模型

1. 表示某一个单词出现的频率只和其前面的1个词有关。
2. 即1个词出现在1个很长的句子中，只需要看其前面那一个1个单词。

优点

1. 考虑到上下文的含义，并弥补单个单词表达力的不足。

缺点

1. 增加了数据的存储量。
2. 没有考虑处理后的结果是否有正确的语法和语义。

注意

需要先安装punkt

    import nltk
    nltk.download('punkt')