lucene_indexWriter说明、索引库优化

IndexWriter
Hibernate的SessionFactory
在Hibernate中,一般保持一个数据库就只有一个SessionFactory。因为在SessionFactory中维护二级缓存,而SessionFactory又是线程安全的。所以SessionFactory是共享的。
lucene的IndexWriter
如果同时在一个索引库中同时建立两个IndexWriter,例如:
[java] view plain copy print?在CODE上查看代码片派生到我的代码片
IndexWriter indexWriter = new IndexWriter(LuceneUtils.directory,LuceneUtils.analyzer,MaxFieldLength.LIMITED);  
IndexWriter indexWriter2 = new IndexWriter(LuceneUtils.directory,LuceneUtils.analyzer,MaxFieldLength.LIMITED);  


这样的代码会出现异常
而lucene的目录结构:


.会出现write.lock这个文件。因为当一个IndexWriter在进行读索引库操作的时候,lucene会为索引库,以防止其他IndexWriter访问索引库而导致数据不一致,直到IndexWriter关闭为止。
结论:同一个索引库只能有一个IndexWriter进行操作。
封装IndexWriter的类LuceneIndexWriter 
[java] view plain copy print?在CODE上查看代码片派生到我的代码片
public class LuceneIndexWriter {  
    private static IndexWriter indexWriter = null;  
  
    public static IndexWriter getIndexWriter() {  
        if (indexWriter == null) {  
            try {  
                indexWriter = new IndexWriter(LuceneUtils.directory,  
                        LuceneUtils.analyzer, MaxFieldLength.LIMITED);  
            } catch (CorruptIndexException e) {  
                e.printStackTrace();  
            } catch (LockObtainFailedException e) {  
                e.printStackTrace();  
            } catch (IOException e) {  
                e.printStackTrace();  
            }  
        }  
        return indexWriter;  
    }  
  
    public static void close() {  
        if (indexWriter != null) {  
            try {  
                indexWriter.close();  
            } catch (CorruptIndexException e) {  
                e.printStackTrace();  
            } catch (IOException e) {  
                e.printStackTrace();  
            }  
        } else {  
            System.out.println("indexWriter为空,不能关闭!");  
        }  
    }  
}  
注:这里用单例模式做比较好。
[java] view plain copy print?在CODE上查看代码片派生到我的代码片
/** 
 * 1、索引库的增、删、改是由indexWriter来操作的 
 * 2、同一个时刻内,同一个索引库,只能允许一个indexWriter操作 
 * 3、当IndexWriter创建完成以后,indexwriter所指向的索引库就被占领了,只有当indexWriter.close时,才能释放锁的资源 
 * 4、当一个新的indexWriter想拥有索引库时,原来的indexWriter必须释放锁 
 * 5、只要索引库中存在write.lock文件,说明上锁了 
 * 6、indexWriter.close有两层含义: 
 *     *  关闭IO资源 
 *     *  释放锁 
 * @author Administrator 
 * 
 */  
public class IndexWriterTest {  
    @Test  
    public void testIndexWriter() throws Exception{  
        IndexWriter indexWriter = new IndexWriter(LuceneUtils.directory,LuceneUtils.analyzer,MaxFieldLength.LIMITED);  
        indexWriter.close();  
        IndexWriter indexWriter2 = new IndexWriter(LuceneUtils.directory,LuceneUtils.analyzer,MaxFieldLength.LIMITED);  
    }  
}  


索引库的优化
1.设置索引库文件合并
当执行创建索引多次时,索引库的文件如图所示:(索引里内容是一样的)

从图中可以看出来,每执行一次就生成一个cfs文件。当执行delete操作时,会生成如图所示的结构:


从图中可以看出来,lucene在执行删除的时候,是先把要删除的元素形成了一个文件del文件,然后再和cfs文件进行整合得出最后结果。
结论:如果增加、删除反复操作很多次,就会造成文件大量增加,这样检索的速度也会下降,所以我们有必要去优化索引结构。使文件的结构发 生改变从而提高效率。


      手动合并文件
合并多个小文件为一个大文件,减少IO操作:
在indexWriter.close();前加上
indexWriter.optimize();
即可
在执行完上述代码后,索引库的结构为:

可以看出把该合并的项都合并了。把del文件彻底全部删除掉了。


自动合并文件(设置合并因子)
indexWriter.setMergeFactor(3);


当cfs文件的数量为3个时,这是会自动合并成一个文件。
如果没有设置数量,默认情况下为10;


2.将索引数据进行分区


3.将第一次查询数据时将索引读到内存中,以后再读取时就可以从内存中获取,不用再从硬盘中获取
代码实现
public void  testOptimise4() throws IOException, ParseException{

//索引在硬盘里面...
Directory directory1=FSDirectory.open(new File(Contants.INDEXURL));
IOContext ioContext=new IOContext();

//索引放在内存当中...
Directory directory=new RAMDirectory(directory1,ioContext);

IndexReader indexReader=DirectoryReader.open(directory);


IndexSearcher indexSearcher=new IndexSearcher(indexReader);
String fields []={"title"};

QueryParser queryParser=new MultiFieldQueryParser(LuceneUtils.getMatchVersion(),fields,LuceneUtils.getAnalyzer());
//不同的规则构造不同的子类..
//title:keywords  ,content:keywords
Query query=queryParser.parse("抑郁症");

TopDocs topDocs=indexSearcher.search(query, 100);

System.out.println(topDocs.totalHits);

}
4.排除停用词,排除停用没被分词器过滤掉,词就不会建立索引,索引文件就会变小,这样 收索的时候就会变快。。
5.通过查询条件优化
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值