这些分析器几乎可以用于分析所有的西方语言。
1、WhitespaceAnalyzer:在空格处进行语汇单元的切分
2、SimpleAnalyzer:在非字母字符处切分文本,并将其转换为小写形式
3、StopAnalyzer:在非字母字符处切分文本,然后小写化,再移除信用词
4、StandardAnalyzer:基于复杂的语法来实现语汇单元化;这些语法规则可以识别e-mail地址、首字母缩写词、汉语-日语-汉语字符、字母数字等;小写化;并移除停用词
这些分析器几乎可以用于分析所有的西方语言。
1、WhitespaceAnalyzer:在空格处进行语汇单元的切分
2、SimpleAnalyzer:在非字母字符处切分文本,并将其转换为小写形式
3、StopAnalyzer:在非字母字符处切分文本,然后小写化,再移除信用词
4、StandardAnalyzer:基于复杂的语法来实现语汇单元化;这些语法规则可以识别e-mail地址、首字母缩写词、汉语-日语-汉语字符、字母数字等;小写化;并移除停用词