自然语言中的分词（一）分词的基本背景

自然语言中的分词（一）分词的基本背景

---

序言：最近了解了一下分词的知识、所以前来总结一下

目前只要包括

• 分词的背景介绍

• 分词的理论方法

• 介绍几种常见分词工具的分词方法

• 超详细实现常见的分词方法

分词的基本问题

汉语分词基本会遇到以下三类问题：

• 分词规范问题

• 歧义词问题

• 未登录词问题

分词规范问题

这主要是因为人们对分词的标准难以统一，难以量化，虽然国家出台过规范，但在实际应用中还是很难操作：

• 名名结构：花草、湖边、湖水、湖面

• 形名结构：蓝天、白云、小鸟、小湖

• 动补结构：走向、翻过

• 动宾结构：担水

• 数量结构：一道、一段

歧义切分问题

这主要也是有两种：

• 交集型：结合成 --》结合、合成

• 组合型：学生会 – 》学生 会、学生会

未登录词问题

未登录词就是未在词典或者训练数据中出现的词

• 新兴词汇

• 专有名词

• 专业名词