[lucene] setOmitTermFreqAndPositions与setOmitNorms

12 篇文章 0 订阅

+ 测试setOmitTermFreqAndPositions与setOmitNorms后搜索速度的变化
  元数据: zhwiki-20100529-pagelinks.sql(675587k)
  -单次搜索(均是清空缓存后的测试):
     不Omit:  90ms        Omit: 34ms
  -1002次搜索
     不Omit:  34985ms     Omit: 19025ms
+ 兼容性: 旧索引未omit,后面添加的新索引omit,最后合成的最终索引,search的时候可以正确找到doc
+ 先不omit,后omit,最终的index的大小,和一开始就omit的大小差不多:
luming@Xluke:~/luowl/test$ java org.apache.lucene.demo.IndexFiles ../data/split-zhwiki/zhwiki1.txt   // 未omit
Indexing to directory 'index'...
input src file costs 7825 ms
Optimizing...
indexing cost 164911 total ms
172736 total milliseconds
luming@Xluke:~/luowl/test$ ls -lk index/
total 195200
-rw-r--r-- 1 luming luming  16273 2010-07-20 10:34 _0.cfx
-rw-r--r-- 1 luming luming 178914 2010-07-20 10:34 _10.cfs
-rw-r--r-- 1 luming luming      1 2010-07-20 10:34 segments_2
-rw-r--r-- 1 luming luming      1 2010-07-20 10:34 segments.gen
luming@Xluke:~/luowl/test$ java org.apache.lucene.demo.IndexFiles ../data/split-zhwiki/zhwiki2.txt    //这里开始omit
Indexing to directory 'index'...
input src file costs 7984 ms
Optimizing...
indexing cost 185118 total ms
193102 total milliseconds
luming@Xluke:~/luowl/test$ ls -lk index/
total 217252
-rw-r--r-- 1 luming luming 217237 2010-07-20 10:43 _1w.cfs
-rw-r--r-- 1 luming luming      1 2010-07-20 10:43 segments_3
-rw-r--r-- 1 luming luming      1 2010-07-20 10:43 segments.gen
+不omit的话,index的大小
luming@Xluke:~/luowl/test$ ls -lk 1-index
total 407872
-rw-r--r-- 1 luming luming  34129 2010-07-01 14:18 _0.cfx
-rw-r--r-- 1 luming luming 373731 2010-07-01 14:18 _27.cfs
-rw-r--r-- 1 luming luming      1 2010-07-01 14:18 segments_2
-rw-r--r-- 1 luming luming      1 2010-07-01 14:18 segments.gen

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值