垂直搜索架构(检索应用部分)

这里用开源搜索引擎lucene以及手机应用市场搜索做例子。

首先我们对上一篇文章爬取的资源做索引。

架构图:

在此输入图片描述

手机应用软件是分版本的,以及如今一个软件给各家应用门户网站做独家首发代理之类需要改apk包结构以及包内容的情况十分常见。所以我们需要对资源进行选优,去重。同一软件,官方的(当然如果你公司是独代什么的有自己加工过的包的话)、最新版本的,会被建进索引中,其余非官方的,旧版本的资源将不被加进索引,但是可以在随后的过往版本记录中展示出来,具体视业务需要而定。

自动提示方面,首先垂直资源的标题如果短(如应用软件名),需要优先被加入自动提示表,其次进行分词,或者自定义扩展字典表。

资源的一些特殊处理也需要注意,例如应用预先进行广告、杀毒的排查,并在资源页进行标注。

利用负载均衡服务器可以做一些异步的用户行为记录操作,例如可以记录用户搜索的关键字,并将定期统计关键字的查询频率对垂直资源进行人工干预并最终影响搜索结果排序。

自己从其他网站爬来资源的同时,自己的搜索应用也将被其他网站所爬取,在此尽量不要出现明显的资源集体列表url之类的页面,或者限制此类页面的数量,在源头上限制其他网站的爬虫爬取,为网站减少不必要的压力。

转载于:https://my.oschina.net/figoisxjs/blog/127509

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值