Lucene .NET 的第一次接触 Lucene PK SQL 2005 模糊搜索

最近相对现有的搜索技术进行优化,在网上查找了很多资料,原先也听说过Lucene 但是没有试验过..这次用业余时间做了一下基本测试..感觉不错的么.

硬件

P4 3.0 CPU 超线程,1G DDR400 内存 280+万数据(存储标题)

Lucene .NET 2.4.0.2  .NET 2.0

 

首先将Lucene的索引建立好. SQL Server2005 启用全文索引

SQL 测试语句 select count(0) from test where title like '%关键词%

 

使用15个关键词 循环100次 每次随机提取一个关键词进行搜索

 

CPU 占用率

Lucene 50% SQL 100%

内存占用率 Lucene 30MB SQL近500MB

磁盘读取频率 两个基本上相同

但是Lucene  在第一次打开索引的时候时间稍长 不过在应用时候可以将IndexSearcher 缓存起来 就不用频繁打开和关闭了

 

结果如下

SQL 数据库查询

关于：茶叶  搜索到1514个结果 耗费时长:468毫秒
关于：热水器  搜索到3812个结果 耗费时长:93毫秒
关于：热水器  搜索到3812个结果 耗费时长:218毫秒
关于：电脑  搜索到13983个结果 耗费时长:46毫秒
关于：硒鼓  搜索到1681个结果 耗费时长:265毫秒
关于：热水器  搜索到3812个结果 耗费时长:78毫秒
关于：古画  搜索到217个结果 耗费时长:921毫秒
关于：硬件  搜索到92个结果 耗费时长:796毫秒
关于：硬件  搜索到92个结果 耗费时长:906毫秒
关于：茶叶  搜索到1514个结果 耗费时长:906毫秒
关于：茶叶  搜索到1514个结果 耗费时长:218毫秒
关于：古画  搜索到217个结果 耗费时长:46毫秒
关于：蔬菜  搜索到1458个结果 耗费时长:906毫秒
关于：硒鼓  搜索到1681个结果 耗费时长:78毫秒
关于：刻录机  搜索到464个结果 耗费时长:31毫秒
关于：玻璃  搜索到25134个结果 耗费时长:953毫秒
关于：硬件  搜索到92个结果 耗费时长:890毫秒
关于：热水器  搜索到3812个结果 耗费时长:937毫秒
关于：硬件  搜索到92个结果 耗费时长:875毫秒
关于：机械  搜索到10649个结果 耗费时长:875毫秒
关于：求购  搜索到2476167个结果 耗费时长:140毫秒
关于：硬件  搜索到92个结果 耗费时长:0毫秒
关于：文具  搜索到2769个结果 耗费时长:218毫秒
关于：刻录机  搜索到464个结果 耗费时长:890毫秒
关于：热水器  搜索到3812个结果 耗费时长:296毫秒
关于：饮水机  搜索到1992个结果 耗费时长:421毫秒
关于：求购  搜索到2476167个结果 耗费时长:734毫秒
关于：硒鼓  搜索到1681个结果 耗费时长:437毫秒
关于：古画  搜索到217个结果 耗费时长:312毫秒
关于：求购  搜索到2476167个结果 耗费时长:875毫秒
关于：文具  搜索到2769个结果 耗费时长:421毫秒
关于：机械  搜索到10649个结果 耗费时长:937毫秒
关于：工艺  搜索到23197个结果 耗费时长:375毫秒
关于：硬件  搜索到92个结果 耗费时长:296毫秒
关于：蔬菜  搜索到1458个结果 耗费时长:328毫秒
关于：机械  搜索到10649个结果 耗费时长:531毫秒
关于：蔬菜  搜索到1458个结果 耗费时长:937毫秒
关于：蔬菜  搜索到1458个结果 耗费时长:750毫秒
关于：刻录机  搜索到464个结果 耗费时长:531毫秒
关于：硒鼓  搜索到1681个结果 耗费时长:234毫秒
关于：玻璃  搜索到25134个结果 耗费时长:437毫秒
关于：工艺  搜索到23197个结果 耗费时长:765毫秒
关于：茶叶  搜索到1514个结果 耗费时长:984毫秒
关于：茶叶  搜索到1514个结果 耗费时长:687毫秒
关于：机械  搜索到10649个结果 耗费时长:921毫秒
关于：古画  搜索到217个结果 耗费时长:968毫秒
关于：古画  搜索到217个结果 耗费时长:984毫秒
关于：电脑  搜索到13983个结果 耗费时长:546毫秒
关于：饮水机  搜索到1992个结果 耗费时长:187毫秒
关于：玻璃  搜索到25134个结果 耗费时长:328毫秒
关于：古画  搜索到217个结果 耗费时长:187毫秒
关于：硒鼓  搜索到1681个结果 耗费时长:984毫秒
关于：热水器  搜索到3812个结果 耗费时长:593毫秒
关于：刻录机  搜索到464个结果 耗费时长:187毫秒
关于：饮水机  搜索到1992个结果 耗费时长:109毫秒
关于：古画  搜索到217个结果 耗费时长:31毫秒
关于：工艺  搜索到23197个结果 耗费时长:31毫秒
关于：古画  搜索到217个结果 耗费时长:281毫秒
关于：硒鼓  搜索到1681个结果 耗费时长:328毫秒
关于：刻录机  搜索到464个结果 耗费时长:343毫秒
关于：茶叶  搜索到1514个结果 耗费时长:484毫秒
关于：茶叶  搜索到1514个结果 耗费时长:421毫秒
关于：求购  搜索到2476167个结果 耗费时长:750毫秒
关于：古画  搜索到217个结果 耗费时长:421毫秒
关于：玻璃  搜索到25134个结果 耗费时长:156毫秒
关于：蔬菜  搜索到1458个结果 耗费时长:203毫秒
关于：求购  搜索到2476167个结果 耗费时长:781毫秒
关于：工艺  搜索到23197个结果 耗费时长:328毫秒
关于：蔬菜  搜索到1458个结果 耗费时长:359毫秒
关于：刻录机  搜索到464个结果 耗费时长:46毫秒
关于：硬件  搜索到92个结果 耗费时长:125毫秒
关于：蔬菜  搜索到1458个结果 耗费时长:109毫秒
关于：工艺  搜索到23197个结果 耗费时长:890毫秒
关于：饮水机  搜索到1992个结果 耗费时长:78毫秒
关于：热水器  搜索到3812个结果 耗费时长:156毫秒
关于：热水器  搜索到3812个结果 耗费时长:125毫秒
关于：文具  搜索到2769个结果 耗费时长:62毫秒
关于：茶叶  搜索到1514个结果 耗费时长:62毫秒
关于：硒鼓  搜索到1681个结果 耗费时长:234毫秒
关于：硒鼓  搜索到1681个结果 耗费时长:578毫秒
关于：文具  搜索到2769个结果 耗费时长:765毫秒
关于：蔬菜  搜索到1458个结果 耗费时长:390毫秒
关于：硒鼓  搜索到1681个结果 耗费时长:343毫秒
关于：玻璃  搜索到25134个结果 耗费时长:812毫秒
关于：茶叶  搜索到1514个结果 耗费时长:140毫秒
关于：玻璃  搜索到25134个结果 耗费时长:125毫秒
关于：玻璃  搜索到25134个结果 耗费时长:296毫秒
关于：文具  搜索到2769个结果 耗费时长:31毫秒
关于：硬件  搜索到92个结果 耗费时长:312毫秒
关于：硬件  搜索到92个结果 耗费时长:187毫秒
关于：茶叶  搜索到1514个结果 耗费时长:953毫秒
关于：电脑  搜索到13983个结果 耗费时长:125毫秒
关于：玻璃  搜索到25134个结果 耗费时长:93毫秒
关于：机械  搜索到10649个结果 耗费时长:234毫秒
关于：文具  搜索到2769个结果 耗费时长:93毫秒
关于：电脑  搜索到13983个结果 耗费时长:359毫秒
关于：求购  搜索到2476167个结果 耗费时长:375毫秒
关于：硬件  搜索到92个结果 耗费时长:93毫秒
关于：文具  搜索到2769个结果 耗费时长:15毫秒
关于：古画  搜索到217个结果 耗费时长:125毫秒
总耗费时长:42284毫秒
平均费时长:422毫秒

 

 Lucene 查询时间

关于：机械  搜索到10649个结果 耗费时长:921毫秒
关于：茶叶  搜索到1514个结果 耗费时长:15毫秒
关于：茶叶  搜索到1514个结果 耗费时长:15毫秒
关于：硬件  搜索到92个结果 耗费时长:0毫秒
关于：饮水机  搜索到1992个结果 耗费时长:31毫秒
关于：热水器  搜索到3812个结果 耗费时长:46毫秒
关于：热水器  搜索到3812个结果 耗费时长:46毫秒
关于：茶叶  搜索到1514个结果 耗费时长:0毫秒
关于：古画  搜索到217个结果 耗费时长:0毫秒
关于：求购  搜索到2476185个结果 耗费时长:781毫秒
关于：饮水机  搜索到1992个结果 耗费时长:31毫秒
关于：热水器  搜索到3812个结果 耗费时长:46毫秒
关于：硒鼓  搜索到1681个结果 耗费时长:15毫秒
关于：电脑  搜索到13983个结果 耗费时长:46毫秒
关于：硬件  搜索到92个结果 耗费时长:15毫秒
关于：饮水机  搜索到1992个结果 耗费时长:31毫秒
关于：工艺  搜索到23197个结果 耗费时长:62毫秒
关于：蔬菜  搜索到1458个结果 耗费时长:0毫秒
关于：热水器  搜索到3812个结果 耗费时长:62毫秒
关于：电脑  搜索到13983个结果 耗费时长:46毫秒
关于：机械  搜索到10649个结果 耗费时长:31毫秒
关于：古画  搜索到217个结果 耗费时长:15毫秒
关于：工艺  搜索到23197个结果 耗费时长:46毫秒
关于：玻璃  搜索到25134个结果 耗费时长:46毫秒
关于：工艺  搜索到23197个结果 耗费时长:62毫秒
关于：硒鼓  搜索到1681个结果 耗费时长:0毫秒
关于：硬件  搜索到92个结果 耗费时长:0毫秒
关于：硒鼓  搜索到1681个结果 耗费时长:0毫秒
关于：古画  搜索到217个结果 耗费时长:0毫秒
关于：机械  搜索到10649个结果 耗费时长:46毫秒
关于：刻录机  搜索到464个结果 耗费时长:15毫秒
关于：电脑  搜索到13983个结果 耗费时长:46毫秒
关于：热水器  搜索到3812个结果 耗费时长:46毫秒
关于：玻璃  搜索到25134个结果 耗费时长:62毫秒
关于：硒鼓  搜索到1681个结果 耗费时长:0毫秒
关于：硬件  搜索到92个结果 耗费时长:15毫秒
关于：蔬菜  搜索到1458个结果 耗费时长:0毫秒
关于：饮水机  搜索到1992个结果 耗费时长:31毫秒
关于：工艺  搜索到23197个结果 耗费时长:62毫秒
关于：蔬菜  搜索到1458个结果 耗费时长:15毫秒
关于：硬件  搜索到92个结果 耗费时长:0毫秒
关于：蔬菜  搜索到1458个结果 耗费时长:15毫秒
关于：文具  搜索到2770个结果 耗费时长:15毫秒
关于：硬件  搜索到92个结果 耗费时长:15毫秒
关于：机械  搜索到10649个结果 耗费时长:31毫秒
关于：古画  搜索到217个结果 耗费时长:0毫秒
关于：工艺  搜索到23197个结果 耗费时长:62毫秒
关于：茶叶  搜索到1514个结果 耗费时长:0毫秒
关于：工艺  搜索到23197个结果 耗费时长:62毫秒
关于：热水器  搜索到3812个结果 耗费时长:46毫秒
关于：蔬菜  搜索到1458个结果 耗费时长:15毫秒
关于：硬件  搜索到92个结果 耗费时长:0毫秒
关于：机械  搜索到10649个结果 耗费时长:46毫秒
关于：电脑  搜索到13983个结果 耗费时长:46毫秒
关于：蔬菜  搜索到1458个结果 耗费时长:0毫秒
关于：文具  搜索到2770个结果 耗费时长:15毫秒
关于：硒鼓  搜索到1681个结果 耗费时长:0毫秒
关于：刻录机  搜索到464个结果 耗费时长:0毫秒
关于：工艺  搜索到23197个结果 耗费时长:62毫秒
关于：硬件  搜索到92个结果 耗费时长:15毫秒
关于：硬件  搜索到92个结果 耗费时长:15毫秒
关于：古画  搜索到217个结果 耗费时长:0毫秒
关于：硬件  搜索到92个结果 耗费时长:15毫秒
关于：古画  搜索到217个结果 耗费时长:0毫秒
关于：硬件  搜索到92个结果 耗费时长:15毫秒
关于：刻录机  搜索到464个结果 耗费时长:15毫秒
关于：饮水机  搜索到1992个结果 耗费时长:15毫秒
关于：电脑  搜索到13983个结果 耗费时长:31毫秒
关于：茶叶  搜索到1514个结果 耗费时长:0毫秒
关于：饮水机  搜索到1992个结果 耗费时长:31毫秒
关于：玻璃  搜索到25134个结果 耗费时长:62毫秒
关于：古画  搜索到217个结果 耗费时长:0毫秒
关于：硒鼓  搜索到1681个结果 耗费时长:0毫秒
关于：求购  搜索到2476185个结果 耗费时长:828毫秒
关于：饮水机  搜索到1992个结果 耗费时长:31毫秒
关于：工艺  搜索到23197个结果 耗费时长:62毫秒
关于：文具  搜索到2770个结果 耗费时长:15毫秒
关于：茶叶  搜索到1514个结果 耗费时长:15毫秒
关于：求购  搜索到2476185个结果 耗费时长:125毫秒
关于：饮水机  搜索到1992个结果 耗费时长:31毫秒
关于：古画  搜索到217个结果 耗费时长:0毫秒
关于：刻录机  搜索到464个结果 耗费时长:15毫秒
关于：工艺  搜索到23197个结果 耗费时长:62毫秒
关于：硬件  搜索到92个结果 耗费时长:15毫秒
关于：工艺  搜索到23197个结果 耗费时长:62毫秒
关于：玻璃  搜索到25134个结果 耗费时长:46毫秒
关于：古画  搜索到217个结果 耗费时长:0毫秒
关于：硬件  搜索到92个结果 耗费时长:0毫秒
关于：电脑  搜索到13983个结果 耗费时长:46毫秒
关于：茶叶  搜索到1514个结果 耗费时长:15毫秒
关于：饮水机  搜索到1992个结果 耗费时长:31毫秒
关于：求购  搜索到2476185个结果 耗费时长:734毫秒
关于：蔬菜  搜索到1458个结果 耗费时长:15毫秒
关于：蔬菜  搜索到1458个结果 耗费时长:0毫秒
关于：工艺  搜索到23197个结果 耗费时长:62毫秒
关于：求购  搜索到2476185个结果 耗费时长:984毫秒
关于：古画  搜索到217个结果 耗费时长:15毫秒
关于：电脑  搜索到13983个结果 耗费时长:46毫秒
关于：机械  搜索到10649个结果 耗费时长:46毫秒
关于：硬件  搜索到92个结果 耗费时长:0毫秒
总耗费时长:6692毫秒
平均费时长:66毫秒

可以看出 速度不是在一个级别的,不过这也难说 SQL 和 Lucene 索引方式不一样.

不过 如果将 Lucene  的索引方式 有效的结合起来 那么 模糊查询的效率要高出很多

所以我想将Lucene  查询与现有的增量查询模式相结合...那么速度是怎样的...慢慢来研究吧