百度视频搜索架构演进

随着信息技术的迅猛发展，搜索引擎作为人们获取信息的主要途径，其背后的技术架构也在不断演进。本文详细阐述了近年来视频搜索排序框架的重大变革，特别是在大模型技术需求驱动下，如何从传统的多阶段级联框架逐步演变为更加高效、灵活的端到端排序框架。

全文5887字，预计阅读时间15分钟。

GEEK TALK

01

背景

过去近十年，搜索引擎的主流框架为多阶段级联框架，分为召回，粗排，精排几个阶段。在每个阶段中，系统会基于相关性、质量、时效性和点击率等维度独立建模，然后通过模型融合这些信号进行排序和截断，最终产出检索结果。随着以BERT、ERNIE和GPT为代表的预训练大模型技术的逐渐成熟，利用一套端到端框架解决信息检索问题变得越来越可行。同时，用户差异化，多样化，深层次信息需求越来越强烈， 为了满足这些需求，系统的算力需求也在不断增加。在这种技术及需求趋势的引导下，传统视频搜索排序架构如何演变，已经成为视频搜索最重要课题，同时也对排序架构提出了重大的挑战。

GEEK TALK

02

目标

以大模型技术为主线，打造高性能，扩展灵活的视频搜索排序框架&#