词干提取(stemming)和词形还原(Lemmatisation)一直弄不清谁是谁,找到一篇解释的到位的一篇文章,以备注
原博文地址:http://www.tuicool.com/articles/JfE7Nb
词干提取( Stemming ) 这是西方语言特有的处理,比如说英文单词有 单数复数的变形,-ing和-ed的变形,但是在计算相关性的时候,应该当做同一个单词。比如 apple和apples,doing和done是同一个词,提取词干的目的就是要合并这些变态
Stemming有3大主流算法
Porter Stemming
Lovins stemmer
Lancaster Stemming
Lucene 英文分词自带了3个stemming算法,分别是:
1. EnglishMinimalStemmer
2. 著名的 Porter Stemming
3. KStemmer
词干提取算法并不复杂,要么是一堆规则,要么用映射表,编程容易,但是必须是这种语言的专家,了解构词法才行啊
http://text-processing.com/demo/stem/ 是一个在线试验词干提取算法的网站
Lemmatisation
Lemmatisation是和词干提取(Stemming) 齐名的一个语言学名词,中文可以叫做 词形还原 ,就是通过查询字典,把 "drove" 还原到 "drive"
而stemming会把单词变短,"apples","apple"处理之后都变成了 "appl"