自然语言中的分词(一)分词的基本背景
序言:最近了解了一下分词的知识、所以前来总结一下
目前只要包括
-
分词的背景介绍
-
分词的理论方法
-
介绍几种常见分词工具的分词方法
-
超详细实现常见的分词方法
分词的基本问题
汉语分词基本会遇到以下三类问题:
-
分词规范问题
-
歧义词问题
-
未登录词问题
分词规范问题
这主要是因为人们对分词的标准难以统一,难以量化,虽然国家出台过规范,但在实际应用中还是很难操作:
-
名名结构:花草、湖边、湖水、湖面
-
形名结构:蓝天、白云、小鸟、小湖
-
动补结构:走向、翻过
-
动宾结构:担水
-
数量结构:一道、一段
歧义切分问题
这主要也是有两种:
-
交集型:结合成 --》结合、合成
-
组合型:学生会 – 》学生 会、学生会
未登录词问题
未登录词就是未在词典或者训练数据中出现的词
-
新兴词汇
-
专有名词
-
专业名词