sinat_27171121的博客

上文我用icu分词器实现了简单的中文分词器，却发现不能直接在搜索之时使用，会打断一些lucene搜索语法的分析。比如，使用双引号进行全文搜索，我制作的自定义分词器却出现了冗余内容，反而查找不到任何有效内容……问号无法在双引号内使用。其实双引号之内，空格以及标点符号是被过滤掉的，匹配连续的关键词。

安卓的默认设置实现略显杂乱无章，且无法搜索。需要亿点美化与扩展。

上文中自定义了 WordBreakFilter，可以大幅地改善结果排序，更加精确地命中汉语词组。但最近又发现一个排序上的错误：以`开心`为关键词全文搜索《牛津英语词典》之时，词条“unrip”……

Lucene 4.7 的分词器中已经有CJKAnalyzer了，这个分词器支持中文、日文、韩文和朝鲜文。其过滤器CJKBigramFilter，既可以同时输出单字与双字切割，也可以选择只输出双字切割。可见，虽然CJKAnalyzer的分词方法较为简陋，但对于搜搜双字词语还是有帮助的，排序不会像 StandardAnalyzer 那样杂乱。同时输出单字与双字，还可搜索到更多结果。关键词搜索“人民”，使用 StandardAnalyzer 之时，词条“工人居民”居然排在了“人民银行”等词条的前面。

废话不多说直接上代码 WordBreakFilter.java：使用：测试案例代码见上文。原理：在自定义过滤器WordBreakFilter中调用icu4j的BreakIterator进行断词。这是一个萌新试图用乱拳打死smartcn、paoding等老师傅的故事……