Debain-12.9使用vllm部署重排模型/rerank

最新推荐文章于 2025-05-12 18:01:50 发布

Eddy5x

最新推荐文章于 2025-05-12 18:01:50 发布

阅读量774

点赞数 11

分类专栏： python 文章标签： reranker python 深度学习机器学习

本文链接：https://blog.csdn.net/u012107402/article/details/146445304

版权

python 专栏收录该内容

23 篇文章

订阅专栏

Debain-12.9使用vllm部署重排模型/rerank

基础环境准备
下载模型
部署模型
注册dify模型

基础环境准备

基础环境安装

下载模型

modelscope download --model 'BAAI/bge-reranker-v2-m3' --local_dir 'BAAI/bge-reranker-v2-m3'

部署模型

vllm serve ~/ollama/BAAI/bge-reranker-v2-m3 --served-model-name bge-reranker-v2-m3 --trust-remote-code --dtype float16 --cpu-offload-gb 4 --max-model-len 8192 --api-key vl-5bgrMOCJ5OSBKQV5XbHz --port 16144

注册dify模型

需要先安装插件OpenAI-API-compatible

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Eddy5x

关注关注

11
点赞
踩
3

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

专业级语义搜索优化：利用Cohere AI、BGE Re-Ranker及Jina Reranker实现精准结果重排

丨汀、的博客

09-03

1206

专业级语义搜索优化：利用Cohere AI、BGE Re-Ranker及Jina Reranker实现精准结果重排

RAG系统环境搭建[Dify+xinference+vllm+rerank(bge-reranker-large)+embedding(bge-large-zh-v1.5 )+deepseek]

qq_50112300的博客

02-25

2039

第二步:#在最下面插入并保存,/usr/local/cuda-xx.x,/usr/local/cuda-xx.x/libxx 复制cuda成功后的信息如下图图。后台启动:nohup xinference-local --host 0.0.0.0 --port 9997 &> nohup.out &当前控制台启动:xinference-local --host 0.0.0.0 --port 9997。(上面安装过了驱动,所以不需要再安装驱动,此步骤直接安装会失败,所以分开)1. 安装vllm0.43。

1 条评论您还未登录，请先登录后发表或查看评论

AI 推理 | vLLM 快速部署指南

cr7258的博客

05-12

860

vLLM 是一个高效、易用的大语言模型（LLM）推理和服务框架，专注于优化推理速度和吞吐量，尤其适合高并发的生产环境。它由加州大学伯克利分校的研究团队开发，并因其出色的性能成为当前最受欢迎的 LLM 推理引擎之一。vLLM 同时支持在 GPU 和 CPU 上运行，本文将会分别介绍 vLLM 使用 GPU 和 CPU 作为后端时的安装与运行方法。本文系统介绍了高性能 LLM 推理框架 vLLM 的部署实践，涵盖环境准备、GPU/CPU 后端配置、离线推理与在线推理部署等环节。

RAG检索全攻略：Embedding与Rerank模型的终极指南

xx_nm98的博客

03-22

1448

Embedding Model的核心任务是将文本、图像或其他数据类型转化为密集向量（Dense Vector），这种向量形式便于快速检索和相似度计算。RAG系统中，Embedding Model主要用于构建知识库并实现高效召回。Embedding Model的原理（结合RAG）在RAG系统中，Embedding Model的工作原理可以归纳为以下步骤：文本编码：将文本片段转换为向量（Embedding），该向量捕获了文本的语义信息。

使用大模型检索增强 Rerank 模型，检索效果提升太明显了！

2201_75499313的博客

01-28

6433

RAG 是一种结合了信息检索和文本生成的语言模型技术。简单来说，当你向大语言模型（LLM）提出一个问题时，RAG 首先会在一个大型的文档集合中寻找相关信息，然后再基于这些信息生成回答。Rerank 的工作就像是一个智能的筛选器，当 RAG 从文档集合中检索到多个文档时，这些文档可能与你的问题相关度各不相同。有些文档可能非常贴切，而有些则可能只是稍微相关或者甚至是不相关的。这时，Rerank 的任务就是评估这些文档的相关性，然后对它们进行重新排序。它会把那些最有可能提供准确、相关回答的文档排在前面。

LLM Rerank重排序模型介绍及选型建议

学亮编程手记

03-25

1593

Rerank（重排序）是信息检索流程中的第二阶段，旨在对初步召回的候选文档进行细粒度排序，以提升结果与查询的相关性。其核心是通过语义理解模型对文档与查询的匹配度进行深度评估，超越传统关键词匹配或向量相似度的限制。

LLM - 白话Rerank模型

小工匠

03-26

1731

不同于初检阶段的粗粒度筛选，Reranker会综合评估语义相关度（如问题与内容的深层匹配）、时效性（优先最新资料）、权威性（区分专家论述与普通观点）以及内容完整性（覆盖关键要素的程度）等多个核心维度，通过算法加权计算出每个结果的最终排序得分。Col-BERT是一种用于高效信息检索的模型，它结合了基于表示和基于交互的检索方法的优点。在企业级应用中，这种智能排序机制有效解决了传统检索中面临的长尾问题、语义鸿沟等挑战，大幅提升了知识库的可用性和准确性，是确保专业用户获得高价值信息的关键技术保障。

VLLM调优

qq_46059596的博客

03-24

1498

vLLM 是一个高效的大模型推理框架，专为优化显存利用和高吞吐量设计。如果需要更具体的代码框架示例，可以进一步说明你的使用场景（如多GPU部署、API服务等）！这些代码需要在加载模型时一次性配置，且必须在调用。（如模型加载参数、显存优化、并行策略等）必须写在。（如解码策略、生成长度等）则在调用。部分系统级配置（如环境变量）需在。在 vLLM 中，所有与。

LLM in Reranking——利用LLM进行重排

Kaiyuan_sjtu的博客

10-16

1185

作者|酯基整理|NewBeeNLPhttps://zhuanlan.zhihu.com/p/660596492后台留言『交流』，加入 NewBee算法讨论组重排器（Reranker）作为信息检索的第二阶段，需要根据查询和文档的相关性，对候选文档做细粒度的排序。经典的重排方法一般使用交叉编码器，结合文档和查询的语义信息进行打分和排序。现有的涉及LLM的重排方法大致可以分为三类：用重排任务微...

RAG检索增强之Reranker重排序模型详解！

xx_nm98的博客

03-09

2969

ReRanker模型是对RAG检索返回的结果进行重新排序的模型。也就是下图所示中2nd Retrieval的模型。具体来说，ReRanker模型在RAG Pipeline中扮演着第二阶段的角色，即在初始检索步骤之后，对检索出的文档块chunks进行重新排序，以确保相关的文档块优先被传递给LLM进行处理。

debain 12.9安装sglang，如何使用sglang部署gguf量化模型

02-21

好的，用户现在的问题是询问如何在Debian 12.9上安装sglang，并使用它来部署GGUF量化模型。之前他们问过关于使用sglang.launch_server部署GGUF模型的问题，现在需要更具体的步骤，特别是针对Debian系统的安装和部署...

debain 12.9、显存4G，安装sglang，如何使用sglang部署gguf量化模型

02-21

好的，我现在需要帮助用户在Debian 12.9系统上，使用4G显存的显卡，通过sglang部署一个GGUF量化模型。首先，我得了解用户的具体需求和当前的环境情况。用户提到的是Debian 12.9，这是一个稳定的Linux发行版，所以...

debain12.9使用sglang.launch_server如何部署deepseek 1.5B蒸馏小模型，请给出具体命令以及显存需求

02-21

嗯，用户现在的问题是关于在Debian 12.9上使用sglang.launch_server来部署deepseek的1.5B蒸馏小模型，需要具体的命令和显存需求。首先，我需要回顾一下之前的对话历史，看看有没有相关的信息可以参考。之前用户问过...

FPGA----petalinux开机启动自定义脚本/程序的保姆级教程（二）