搜索引擎的难点

本文探讨了搜索引擎的四个关键难点:存储优化,包括减少字段和压缩保存;查询性能的提升,如使用cache和索引分级;搜索更新数据的处理;以及搜索排序复杂度,强调算法的重要性,特别是特征分数的计算和数据积累对准确性的影响。
摘要由CSDN通过智能技术生成

1.  存储优化:

搜索的基本功能就是:在很大的数据集合里面快速的查找出想要的数据,只能通过把数据做成索引;通过搜索引擎来快速查找。
索引要想查的快,最基本的就是把索引数据放到内存中,但内存是宝贵的物理资源,所以存储就成了一个难点:
  • index 尽量减少字段
  • 多个字段合并压测保存
  • 压缩保存

2. 搜索引擎查询性能

从大数据集合中查询出自己想要的数据,查询性能是非常关键的一环;如果查询性能差,占用物理资源多,而且时间太长客户都跑了;
从哪几方面入手来进行查询性能的优化呢?:
  • cache 
  • 索引分级:按照业务进行划分,上面加上一个proxy 进行流量转发
  • xxxxx
  • xxxx

3. 搜索更新数据

大数据-->index,index 需要更新;分为daily 级别的全量更新和秒级的实时更新;


4. 搜索排序复杂度

对一个搜索引擎,召回结果是最基本的也是最简单的功能,但是对召回的数据进行拍下和推荐,给用户最想要的结果就变得很复杂;
难度也在增加。简单说下排序的基本逻辑
  • 算法的代码都是一些so,需要引擎平台有
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值