LUCENE检索速度优化方案-与我很平凡交流经验（1）

横瓜 17:51:44
我计算一下你的索引
DATA:2W*2K=40M,
INDEX:40M
你的索引与文件几乎一样大,属于正常现象
__我很平凡(550708486)
还在吗
你的站是多少,发下
横瓜 17:53:04
我计算一下你的索引
DATA:2W*2K=40M,
INDEX:40M
你的索引与文件几乎一样大,属于正常现象
__我很平凡(550708486)
还在吗
你的站是多少,发下
横瓜(601069289) 17:52:53
1亿一下,就别考虑分布式,如果单机都无法很好处理数据,分布式是解决不了你的问题的
丶__我很平凡 19:00:13
你在吗？
横瓜 19:00:21
在
横瓜 19:00:32
我看看你的站
丶__我很平凡 19:00:49
我的搜索功能还没有弄上去
丶__我很平凡 19:01:01
等两天才弄上去
横瓜 19:01:27
检索效果如何
丶__我很平凡 19:01:44
速度再2秒
横瓜 19:02:06
200万记录.每条记录多少字?
丶__我很平凡 19:02:44
二三百字
横瓜 19:03:01
这么少
丶__我很平凡 19:03:14
还少？？
丶__我很平凡 19:04:04
现在索引库有3个多g
横瓜 19:04:06
正文一般1000-3000字
丶__我很平凡 19:05:19
但是我这个搜索速度 就很慢啊
横瓜 19:05:39
你搜索:的精确性，可靠性，谁就可以
横瓜 19:05:48
多少秒出结果?
丶__我很平凡 19:06:00
2秒
丶__我很平凡 19:06:26
查询语句，越短结果出来得越快
横瓜 19:06:34
是的
横瓜 19:06:49

就是的

2013-04-24
丶__我很平凡19:07:01
7个词就差不多2秒了
横瓜19:07:10
恩
横瓜19:07:13
正常
丶__我很平凡19:07:24
正常？？
横瓜19:07:33
是的
横瓜19:07:38
你电脑什么配置
丶__我很平凡19:07:49
4g
横瓜19:07:58
内存呢?
横瓜19:08:10
硬盘呢?
横瓜19:08:27
多少转
丶__我很平凡19:08:26
横瓜19:08:51
那还可以
横瓜19:09:20
你看看最长时间多少
丶__我很平凡19:09:31
不能缩短到0.5少内吗？
横瓜19:09:38
能
横瓜19:09:52
用LUCENE不行
丶__我很平凡19:09:59
额
横瓜19:10:04
1亿都能在1秒解决
横瓜19:10:19
用LUCENE不行
丶__我很平凡19:10:30
但目前我们用的是lucene
横瓜19:11:06
单机性能好,才有必要做分布式
横瓜19:11:30
否则你100台的分布,不如别人一台单机的
丶__我很平凡19:11:34
对了，1亿时，lucene速度会降成什么样？
横瓜19:11:58
你的100秒
丶__我很平凡19:12:13
额
横瓜19:12:33
你200万2秒
1亿就是100秒
横瓜19:12:57
http://122.96.87.193:7777/s?pn=1&wd=%B5%C4%BE%AB%C8%B7%D0%D4%A3%AC%BF%C9%BF%BF%D0%D4%A3%AC%CB%AD%BE%CD%BF%C9%D2%D4
丶__我很平凡19:13:56
这个是多少数据，也是用lucene做的
横瓜19:14:48
这个500万,每条2000字
等于你的12倍数据量
丶__我很平凡19:15:40
速度和我差不多啊
横瓜19:16:05
这个可以提高速度的
横瓜19:16:12
知道为什么吗
丶__我很平凡19:16:16
你说
横瓜19:16:23
因为这个是我写的
横瓜19:16:39
我用5年时间写的
丶__我很平凡19:16:54
5年？
横瓜19:16:59
恩
丶__我很平凡19:17:14
功能不止这些吧
横瓜19:17:21
10天写的,优化了5年
横瓜19:17:41
你是指?
丶__我很平凡19:17:57
优化是个蛋痛的活
横瓜19:18:17
太浪费时间了
丶__我很平凡19:18:25
确实
横瓜19:18:58
直接在LUCENE基础上优化更好
丶__我很平凡19:19:31
你自己写有词库吗？
横瓜19:20:03
分词也是我写的
横瓜19:20:04
有
横瓜19:20:21
词库20万
横瓜19:20:37
不需要更新词库,我用万能分词法
丶__我很平凡19:21:05
那你建索引时用哪种分词法
横瓜19:21:53
最大右匹配+全部入库法,就是空格分开的全部进索引
横瓜19:22:40
。“中国一年进口几千万吨菜油、食品
横瓜19:23:27
中国一年进口几千万吨菜油
作为一个整词进索引
然后用最大右匹配拆分中国一年进口几千万吨菜油

横瓜19:24:06
http://122.96.87.193:7777/s?pn=1&wd=aaaab
横瓜19:24:45
只要这里面出现的,没有搜索不到的
横瓜19:25:04
只要正文里面出现的,没有搜索不到的

横瓜19:25:21
http://122.96.87.193:7777/s?pn=1&wd=13405329557
丶__我很平凡19:25:23
够牛b
横瓜19:25:50
所以我的索引很大