1、为什么要分词?
2、怎样去分词?
摘要与理解:
- S(句子) = w1w2w3...wn(词)
语言模型是建立在词的基础上的,因为词是表达语义的最小单位。
2.分词的输入:一个句子,例:中国航天官员应邀到美国与太空总署官员开会
分词的输出:用分界符分割的一串词,例:中国/航天/官员/应邀/到/美国/与/太空/总署/官员/开会
3.分词的发展
(1)北航梁南元教授-查字典
复合词 单字词 最长词匹配
(2)哈工大王晓龙博士-最少词数的分词理论
分词的二义性 并非所有最长词匹配都正确
(3)清华郭进博士-统计语言模型解决了二义性
一个句子S的不同分词法 - A1,A2,A3,...,Ak
B1,B2,B3,...,Bm
C1,C2,C3,...,Cn
P(A1,A2,A3,...,Ak) > P(B1,B2,B3,...,Bm) && P(A1,A2,A3,...,Ak) > P(C1,C2,C3,...,Cn)
则 A1,A2,A3,...,Ak是最好分词 —— 计算量大
动态规划 - 维特比算法
4.词的颗粒度