本文介绍一下Android官方提供的切词工具BreakIterator。
1.关于切词
切词是一个常见的需求,对于中文更为重要,因为类似英文一样的以单词为中心的语言,以空格和标点符号为天然分隔符。但中文不一样,想要理解中文的准确含义,准确地切分词是第一步。例如,搜索的时候,如果输入是“看视频”,用户的意图显然是搜索视频,如果按照整句匹配,显然会欠召回。理想的情况应该是将“看视频”切成“看”和“视频”,并且识别出中心意图词是“视频”,进而主要搜索视频。当然,切词的准确性就很重要了,是一切的基础——如果切成“看视”和“频”,或者“看”“视”“频”,就适得其反了。
2.BreakIterator是个什么玩意?
Android官方SDK已经给出了切词工具BreakIterator,支持中文切词。目前Android SDK中同时存在两个BreakIterator:
java.text.BreakIterator
https://developer.android.com/reference/java/text/BreakIterator.html
android.icu.text.BreakIterator
https://developer.android.com/reference/android/icu/text/BreakIterator.html
前者API level 1,“根红苗正”。后者API level 24,从Android 7.0引入。其实二者同源。
二者用法基本相同,以前者为例,切一个句子,用法很简单友好:
public static void main(String args[]) {
if (args.length == 1) {
String stringToExamine = args[0];
//print each word in order
BreakIterator boundary = BreakIterator.getWordInstance();
boundary.setText(stringToExamine);
printEachForward(boundary, stringToExamine);
}
}
public static void printEachForward(BreakIterator boundary, String source) {
int start = boundary.first();
for (int end = boundary.next();
end != BreakIterator.DONE;
start = en