完美解决Discuz 论坛大数据量的全文检索问题

当Discuz论坛数据量超过100万条时,全文检索速度下降,MySQL性能瓶颈明显。本文介绍了一种基于J2EE的搜索引擎解决方案,该引擎提供中文语言处理,自动提取关键字和生成摘要,并具备增量采集和重复数据过滤功能,避免了对QIHOO的依赖。单台服务器配置下的测试显示了良好的检索性能。
摘要由CSDN通过智能技术生成
 

使用Discuz的朋友一定有这样的经历, 那就是在数据量达到一定规模时(100W以上),检索速度往往力不从心;mysqld-nt.exe这个进程占用CPU资源很大 ,经常在50以上;多人同时请求,会导致系统的瓶颈,甚至宕机。使用本身PHP LIKE MYSQL的效率实在不敢恭维;然而Discuz本身就加入了QIHOO搜索来解决这些问题,大多数用户对搜索的结果也不是很满意,靠QIHOO收录大约也得需要2-6小时,关键是自己辛苦建站流量却成QIHOO。很多朋友希望有一个完美的解决方案,但是事实的真相是残酷的,这个完美的方案可能让你绞尽脑汁还是两手空空。

今天我给大家带来的引擎构建于J2EE平台,继承了它跨平台和安全的特性,内置的中文语言处理引擎支持从抓取的数据中自动提取关键字与自动生成摘要、采用增量采集方式,对于已经采集过的数据不会重复抓取,通过后台的配置,可以自动对于已经变动过的数据内容进行再次抓取,这并不需要太多的人工干预。然后建立系统独立的索引供用户检索;下面是我们单台服务器检索性能

服务器配置:

主要参数

最低配置

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值