项目中用到了lucene构建索引，但是公司有自己的分词器，为了保持跟其它模块的一致性，必须将分词器整合进lucene中，其实网上这样的例子会比较多，不过很多都是不完整的，自己在这里贴出来个完整的，思想比较简单，基本就是按照自己的分词器分完词之后按照空格分隔，然后利用lucene的WhitespaceTokenizer来重新进行分隔。
代码如下：
本文介绍了如何在使用Lucene构建索引时，结合公司的自定义分词器，确保分词一致性。通过创建自定义的SgiAnalyzer类，利用公司的分词服务（PreProcess）进行初步分词，再借助Lucene的WhitespaceTokenizer进行二次分隔。这种方法允许在tokenize方法中添加自定义规则，如停用词处理。
最低0.47元/天 解锁文章
794
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
