（Aliyun AI ACP 21）自然语言处理常用算法原理与异同

阿里云人工智能工程师ACP认证考试知识点辅助阅读

（Aliyun AI ACP 21）自然语言处理常用算法原理与异同

分词方法

基于匹配判断的方法

最大匹配法（Maximal Matching）:

• 原理: 该方法按照预设的最大长度原则，从左至右扫描文本，遇到词典中存在的最长子串时，则将其作为一个完整的词切分出来。比如，对于词典中有“自然语言处理”，当遇到“自然语言”和“语言处理”都存在时，优先切分出“自然语言处理”整个词。
• 流程: 初始化词典，然后顺序读入文本，逐个字符或字查找是否存在词典中的最长匹配项，找到就完成一个词的切分。

全切分路径选择：

• 原理: 对待分词文本的所有可能切分方式进行穷举，并根据某种规则或统计模型评估每种切分方案的合理性，最后选择最优切分路径。
• 流程: 利用动态规划等算法生成所有可能的切分序列，然后根据词典信息或者统计模型得分来确定最佳切分结果。

基于统计的方法

• 序列标注方法：
  • 原理: 将分词问题转化为序列标注问题，即为每一个字符或字标注其在词中的位置（如BEMS表示法中的开始B、中间M、结束E和单字词S