京东亿级商品搜索核心技术解密

最新推荐文章于 2024-05-01 01:21:51 发布

钱曙光

最新推荐文章于 2024-05-01 01:21:51 发布

阅读量5.9k

点赞数 3

文章标签：京东商品搜索架构

本文链接：https://blog.csdn.net/qiansg123/article/details/80127140

版权

本文由京东搜索平台部负责人王春明分享，详细介绍了京东商品搜索引擎的架构，包括爬虫系统、离线信息处理系统、索引系统和搜索服务系统。系统支持日均PV过亿请求，保证高召回率和快速响应。京东搜索引擎的独特之处在于结构化商品数据、高召回率要求、商品信息实时更新和复杂的商品业务。系统分为四部分：爬虫抓取数据，离线处理生成索引，索引系统建立关键字维度存储，搜索服务系统处理用户请求。文章还探讨了未来搜索技术的发展，如场景搜索和图像搜索。

摘要由CSDN通过智能技术生成

声明：本文来自京东张开涛的微信公众号（kaitao-1234567），授权CSDN转载，如需转载请联系作者。
作者：王春明，现任京东搜索平台部负责人，2011年加入京东搜索团队，期间一直负责京东搜索引擎研发工作，主导了多次搜索架构升级工作保障其满足京东发展需求，擅长搜索引擎、高性能服务开发、分布式系统架构。
责编：钱曙光，关注架构和算法领域，寻求报道或者投稿请发邮件qianshg@csdn.net，另有「CSDN 高级架构师群」，内有诸多知名互联网公司的大牛架构师，欢迎架构师加微信qianshuguangarch申请入群，备注姓名+公司+职位。

京东商品搜索简介

京东商品搜索引擎是搜索推荐部自主研发的商品搜索引擎，主要功能是为海量京东用户提供精准、快速的购物体验。目前入口主要有PC/移动/微信/手Q搜索、移动列表页、店铺搜索、店铺列表等。虽然只有短短几年时间，系统已经能够支持日均PV过亿的请求，并且经过了多次618店庆和双11的考验。

与人们日常使用的如谷歌、百度等大搜索（或称为“全文搜索”）引擎相比，京东商品搜索引擎与前者有相通之处，比如“覆盖海量数据”、“超高并发查询”以及“超快速的请求响应时间”，同时又有自身显著的业务特点：

结构化的商品数据，需要从商品、库存、价格、促销、仓储等多个系统进行抽取；
极高的召回率要求，保证每一个状态正常的商品都能够被搜索到；
商品信息的及时更新，目的是为了保证用户极佳的购物体验——比如不能给用户展示出下柜的商品，或者商品的实时价格超出了用户搜索限定的范围。这就要求我们的搜索引擎要做到和各个系统的信息时刻保持同步，目前每天更新次数过亿；
逻辑复杂的商品业务，需要存储的商品属性信息是倒排索引信息的2倍之多；
用户购物的个性化需求，要求系统实现用户标签与商品标签的匹配。

正是由于既要兼顾大搜索引擎的通用需求，同时要契合京东的业务特点，我们将系统架构分为四个部分：爬虫系统、离线信息处理系统、索引系统、搜索服务系统。

为了使各位读者能够深入了解京东商品搜索引擎的架构，本文首先介绍了商品搜索的总体架构，然后依次介绍了爬虫系统、离线信息处理系统等各个部分，并且对搜索技术的最新研究方向做展望，希望对各位读者有所帮助。