ksearch
文章平均质量分 55
chenxinl
这个作者很懒,什么都没留下…
展开
-
大IO操作引起ksearch性能波动的问题分析
1. log 分析 主要是影响了系统cache,读log文件导致searcher的mmap内存被swap到硬盘,引起超时。侧重于IO层面2. 大log文件 删除主要是kernel整理硬盘快,进入了内核态,而且执行时间较长;导致用户态的searcher操作发生堵塞,引起超时。侧重于原创 2011-07-25 10:42:35 · 745 阅读 · 0 评论 -
搜索引擎中的字符串归一化
搜索引擎中对于Q查询,都会涉及到字符串归一化这个步骤,以提高结果召回率。字符串的归一化包括三个方面:繁体转简体;全角字符转半角;大写字母转小写。 建倒排时,会先对字符串做归一化处理,然后再分词取term;用户查询时,也会对查询串做同样的操作,这样就能找到对应的倒排链。 在返回查询结果给前端时,会按照查询串对原文做飘红,这里就涉及到一个问题,原文是没有归一化的;为了解决这个问题,我们自己写了个n原创 2011-12-01 17:56:04 · 5282 阅读 · 0 评论