语义模型及自然语言处理系统基础算法

1. 语义模型常用算法及详解
   1.1 关键词抽取的算法模型
   （1）TF-IDF
   （2）TextRank
   （3）基于语义的统计语言实现关键词抽取

   1.2 短语抽取的算法模型
   （1）基于互信息和左右信息熵算法实现短语抽取
   （2）LDA
   （3）TextRank

   1.3 自动摘要抽取算法模型
   （1）决策树算法
   （2）逻辑回归算法
   （3）贝叶斯算法

   1.4 计算任意词距离算法模型
   （1）FP-Growth算法
   （2）N-Gram算法
   （3）BP算法

   1.5 拼音汉子混合识别算法
   （1）贝叶斯算法模型
   （2）HMM算法模型
   （3）RNN神经网络模型

   1.6 文本自动生成模型
   （1）基于关键词的文本自动生成模型
   （2）RNN模型

2. NLP基础算法
   2.1 分词算法
   （1）Dijkstra算法
   该算法是一个最短路径搜索图的算法，算法本身应用的场景也很多。
   （2）AC-DoubleArrayTrie
   该算法结合有限状态机和双数组Trie树两个数据结构的优势实现

   2.2 词性标注算法
   （1）最大熵算法
   该算法是一种不确定信息最大保留的算法
   （2）CRF算法
   该算法的思想主要来源于最大熵模型和隐马尔科夫模型

   2.3 实体识别算法
   （1）马尔可夫逻辑网算法
   该算法是马尔科夫网络的一种延伸，是在马尔科夫网络的基础上添加一阶逻辑推理的功能。
   （2）DIPRE算法

   2.4 文本预测算法
   （1）LSTM算法
   LSTM算法是递归神经网络的一种，它能实现对历史信息的长期记忆。

参考：
自然语言处理技术 兰红云