在传统文本搜索技术已经相对成熟的背景下,如何进一步提高搜索的效率和速度成为了新的追求目标。应对这一挑战,Jina Reranker 模型系列推出了两款针对性能调优的新模型:jina-reranker-v1-turbo-en
和 jina-reranker-v1-tiny-en
,它们在保证搜索高准确度的同时,特别强化了处理速度和资源优化。这两款模型现已上线 AWS Sagemaker 和 Hugging Face 平台,为需要快速响应和高效资源利用的场景提供了理想的解决方案。
Jina Reranker Turbo 和 Tiny 模型的速度,这得益于我们独创的 JinaBERT:一个增强版本的 BERT 架构,采用了对称双向的 ALiBi 方案,能够处理长达 8192 Token 的输入,非常适合对大型文档和复杂查询进行深入分析。
Jina Reranker Turbo: https://huggingface.co/jinaai/jina-reranker-v1-turbo-en
Jina Reranker Tiny: https://huggingface.co/jinaai/jina-reranker-v1-tiny-en
根据我们在 Jina Reranker v1 模型中获得的经验,考虑到 AI 模型的运行成本,许多用户更倾向于选择更小、更快、更便宜的模型,哪怕可能牺牲一些准确度。因此我们简化了模型设计,特别是减少隐藏层的数量,并缩减其宽度,以此不仅加快了处理速度,还显著减小了模型的体积,大幅降低了成本,而对性能的影响几乎可以忽略,非常适合那些对延迟有严格要求的场景。
接下来,本文将详细介绍 Jina Reranker Turbo 和 Tiny 的架构设计、性能表现,并提供开始使用这些模型的具体指导。
精简架构
Jina Reranker Turbo 采用了 6 层架构,总共有 3780 万参数,相较于我们的基础 Reranker 模型 jina-reranker-v1-base-en
,Turbo 模型仅是其参数数量的 1/4,同时处理速度提高了 3 倍,适用于对即时处理需求较高的应用场景。
Jina Reranker Tiny 进一步精简到 4 层架构,仅 3300 万参数,提供了更大的并行处理能力,以及更快的处理速度ÿ