lucene7.4总结

   一、需求:使用lucene框架实现搜索接口。

          以下时本人记录的需要注意的地地方及代码链接。

1、注意:因为IndexWriter存在写锁,需要考虑并发的问题,提供一个lucene工具类,可以参考下:

      https://blog.csdn.net/chao2263263364/article/details/48628145

 

2、索引的创建与维护:

      2.1、由于创建索引是一个很耗时的过程,所以在项目启动时创建索引,索引如下:

      2.2、在使用lucene的过程中,会经常对索引相关的数据进行增删改,但增加和修改数据时,会使lucene创建大量的索引文件,

如图:

   当大量修改索引数据后,文件夹中的索引文件将达到可怕的数量。

   当然,你可以使用indexWriter.deleteAll()方法删除之前的索引后,再将索引全部创建一次。但是,之前已经说过了,创建索引是一个非常耗时的,且修改一次数据创建一次索引,想想都蛋疼,所以不建议这么做。

   在这里本人采用定时器去重新创建索引,例如一个星期执行一次等。

 

3、搜索:

     3.1、 实时搜索:

      https://blog.csdn.net/whuqin/article/details/42922813

IndexWriter writer = new IndexWriter(ramDir, writerConfig);
IndexReader reader = DirectoryReader.open(writer, true);
IndexSearcher searcher = new IndexSearcher(reader);
IndexReader newReader = DirectoryReader.openIfChanged((DirectoryReader) reader, writer, true);
if (reader != newReader) {
    searcher = new IndexSearcher(newReader);
    reader.close();

      3.2、搜索实例:

      https://www.cnblogs.com/liuxianan/p/lucene-hello-world.html

String[] fields = {"fileName", "content"}; // 要搜索的字段,一般搜索时都不会只搜索一个字段
// 字段之间的与或非关系,MUST表示and,MUST_NOT表示not,SHOULD表示or,有几个fields就必须有几个clauses
BooleanClause.Occur[] clauses = {BooleanClause.Occur.SHOULD, BooleanClause.Occur.SHOULD};
// MultiFieldQueryParser表示多个域解析, 同时可以解析含空格的字符串,如果我们搜索"上海 中国"
Query multiFieldQuery = MultiFieldQueryParser.parse(keyWord, fields, clauses, analyzer);
Query termQuery = new TermQuery(new Term("content", keyWord));// 词语搜索,完全匹配,搜索具体的域
Query wildqQuery = new WildcardQuery(new Term("content", keyWord));// 通配符查询
Query prefixQuery = new PrefixQuery(new Term("content", keyWord));// 字段前缀搜索
Query fuzzyQuery = new FuzzyQuery(new Term("content", keyWord));// 相似度查询,模糊查询比如OpenOffica,OpenOffice
BooleanQuery.Builder queryBuilder = new BooleanQuery.Builder();
queryBuilder.add(multiFieldQuery, BooleanClause.Occur.SHOULD);
queryBuilder.add(termQuery, BooleanClause.Occur.SHOULD);
queryBuilder.add(wildqQuery, BooleanClause.Occur.SHOULD);
queryBuilder.add(prefixQuery, BooleanClause.Occur.SHOULD);
queryBuilder.add(fuzzyQuery, BooleanClause.Occur.SHOULD);
BooleanQuery query = queryBuilder.build(); // 这才是最终的query
TopDocs topDocs = indexSearcher.search(query, 100); // 搜索前100条结果

 

4、分页:

https://blog.csdn.net/hu948162999/article/details/41209699

private ScoreDoc getLastScoreDoc(IndexSearcher indexSearcher, Sort sort, Query query,
                                     Integer pageSize, Integer pageNum) {
        try {
            //获取上一页的最后数量
            int num = (pageNum - 1) * pageSize;
            TopDocs tds = indexSearcher.search(query, num, sort);
            return tds.scoreDocs[num - 1];
        } catch (IOException e) {
            logger.error(e.getMessage(), e);
        }
        return null;
    }

ScoreDoc lastScoreDoc = getLastScoreDoc(indexSearcher, sort, query, pageSize,pageNum);
TopDocs docs = indexSearcher.searchAfter(lastScoreDoc, query, pageSize, sort);

 

5、排序:

     首先,需要在创建索引时,建立排序字段,然后,在根据该字段new一个排序实例,如:

     https://blog.csdn.net/u012965373/article/details/44852169

//构建索引信息时创建 字符串排序
Document doc = new Document();
doc.add(new SortedDocValuesField("name", new BytesRef(bean.getName())));
//数字排序
doc.add(new NumericDocValuesField("age", bean.getAge()));

//搜索时 true降序
SortField sortField = new SortField("name", SortField.Type.STRING, true);
//SortField ageField = new SortField("age", SortField.Type.INT, false);
Sort sort = new Sort(sortField);
TopDocs docs = indexSearcher.search(query, 100, sort);

6、分词器:

https://blog.csdn.net/flyingdog123/article/details/67637783

7、索引查看器luck7.4.0下载地址:

https://download.csdn.net/download/w592376568/10691048

lucene搜索分页过程中,可以有两种方式 一种是将搜索结果集直接放到session中,但是假如结果集非常大,同时又存在大并发访问的时候,很可能造成服务器的内存不足,而使服务器宕机 还有一种是每次都重新进行搜索,这样虽然避免了内存溢出的可能,但是,每次搜索都要进行一次IO操作,如果大并发访问的时候,你要保证你的硬盘的转速足够的快,还要保证你的cpu有足够高的频率 而我们可以将这两种方式结合下,每次查询都多缓存一部分的结果集,翻页的时候看看所查询的内容是不是在已经存在在缓存当中,如果已经存在了就直接拿出来,如果不存在,就进行查询后,从缓存中读出来. 比如:现在我们有一个搜索结果集 一个有100条数据,每页显示10条,就有10页数据. 安装第一种的思路就是,我直接把这100条数据缓存起来,每次翻页时从缓存种读取 而第二种思路就是,我直接从搜索到的结果集种显示前十条给第一页显示,第二页的时候,我在查询一次,给出10-20条数据给第二页显示,我每次翻页都要重新查询 第三种思路就变成了 我第一页仅需要10条数据,但是我一次读出来50条数据,把这50条数据放入到缓存当中,当我需要10--20之间的数据的时候,我的发现我的这些数据已经在我的缓存种存在了,我就直接存缓存中把数据读出来,少了一次查询,速度自然也提高了很多. 如果我访问第六页的数据,我就把我的缓存更新一次.这样连续翻页10次才进行两次IO操作 同时又保证了内存不容易被溢出.而具体缓存设置多少,要看你的服务器的能力和访问的人数来决定
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值