Qwen3-Embedding 本地部署指南 + Dify 召回测试实录

最新推荐文章于 2025-07-24 21:23:16 发布
原创 最新推荐文章于 2025-07-24 21:23:16 发布 · 1.7k 阅读 · 32 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#embedding #人工智能 #LLM #AI大模型 #知识库 #大模型应用 #RAG

前两天，通义千问推出的 Qwen3-Embedding 系列模型（包括8B、4B和0.6B三个版本）在权威评测中表现惊艳，尤其在多语言任务和长上下文处理能力上全面超越主流竞品，成为开源嵌入模型的新王者。

多尺寸全能选手，全面碾压BGE-M3！

性能霸榜，全尺寸领先

Qwen3-8B以70.58总分登顶榜单（超越Gemini-001的68.37），在16项评测中12项第一，尤其在检索精度（MSMARCO 57.65）、问答能力（NQ 10.06） 等关键任务上表现惊艳。

即使最小尺寸的Qwen3-0.6B（仅595M参数），总分64.34仍显著超越7B级竞品（如SFR-Mistral 60.9），小模型也有大能量！

对比BGE-M3：全方位代差优势

指标Qwen3-8BBGE-M3优势幅度
综合得分70.5859.56↑11.02
上下文长度32K8K↑ 4倍
检索任务(MSMARCO)57.6540.88↑41%
开放问答(NQ)10.06-3.11实现负分逆转
多语言理解28.6620.10↑42%

Qwen3在保持99%榜单合规性的同时，以更高维度参数（8B vs 568M）和4倍上下文支持，彻底改写Embedding模型性能边界！

同尺寸模型对比：性能碾压同级

同为7B级别：Qwen3-8B对比Linq-Embed-Mistral（61.47）、SFR-Mistral（60.9），性能领先超15%。

轻量级战场：Qwen3-0.6B（64.34）大幅领先同类小模型如multilingual-e5-large（63.22）、BGE-M3（59.56），证明通义千问架构的高效性。

本地部署Qwen3-Embedding

GPUStack本地部署

根据官方文档自行部署GPUStack，官方提供了Docker镜像，可快速部署。

在GPUStack的 模型 界面，点击 部署模型 -> ModelScope，搜索qwen3-embedding。平台会自动检测你的硬件性能，推荐可以安装的量化模型版本。

gpustack 部署 qwen3-embedding

gpustack 部署 qwen3-embedding

我们选择了 qwen3-embedding-8b的Q8_0量化版本，等待模型下载，提示 running，表示模型已经部署完成。

qwen3-embedding 模型部署成功

qwen3-embedding 模型部署成功

Dify中测试

现在Dify的插件市场中找到GPUStack，点击安装插件。等插件安装完成后，进行模型配置。

Dify 中配置本地GPUStack部署的 QWEN3-EMBEDDING

Dify 中配置本地GPUStack部署的 QWEN3-EMBEDDING

创建知识库，在Embedding模型中，选择我们自己部署的模型。

Dify知识库创建

Dify知识库创建

把公众号的历史文章，放入知识库进行测试。

上传文档

上传文档

选择Dify的父子分段策略。由于是markdown格式，希望每一个大段为一个父块，分段符选择 “#”.

配置解析方式

配置解析方式

测试一下召回情况

召回测试

召回测试

 如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

基于此，我用做产品的心态来打磨这份大模型教程，深挖痛点并持续修改了近70次后，终于把整个AI大模型的学习门槛，降到了最低！

在这个版本当中：

第一您不需要具备任何算法和数学的基础
第二不要求准备高配置的电脑
第三不必懂Python等任何编程语言

您只需要听我讲，跟着我做即可，为了让学习的道路变得更简单，这份大模型教程已经给大家整理并打包，现在将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

五、AI产品经理大模型教程

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

​

都来学，给AI Agent初学者的10节课
xiezhipu的博客
03-24 579
是一个旨在帮助初学者学习构建 AI 代理的课程仓库。该仓库提供了 10 节课程，全面覆盖了构建 AI 代理所需的基础知识。
Ollama部署Qwen3-Embedding和Qwen3-Reranker
没刮胡子的程序员专栏
06-12 1155
wen3 Embedding系列是基于Qwen3开发的专有文本嵌入与排序模型，提供0.6B、4B和8B三种尺寸选择。该系列支持100+种语言，具备32k上下文长度，并允许自定义输出维度（32-4096）。
Qwen3 Embedding微调神器LoRA！大模型入门者的效果炸裂之旅！
2401_84204207的博客
06-09 1089
最近 Qwen 又有大动作，发布 Qwen3 Embedding 系列模型，而且 MTEB 排行榜上获取多个第一，最重要的还是模型全系列开源。
vllm方式部署Deepseek R1、Embedding、Reranker、Qwen3，并集成dify环境
qq_23435961的博客
05-15 2359
vllm部署deepseek满血满+Qwen3满血版+ dify集成调用
深度解析 Qwen3 Embedding：基于大模型的文本嵌入与重排序技术突破
2301_76168381的博客
06-10 897
在自然语言处理与信息检索领域，文本嵌入与重排序技术始终是支撑搜索引擎、问答系统、推荐系统等核心应用的底层基石。随着大语言模型（LLM）的快速发展，如何将其强大的语义理解能力注入传统嵌入与重排序框架，成为学术界与工业界共同探索的前沿方向。近日，阿里巴巴通义实验室的研究员们提出了基于Qwen3大模型的新一代文本嵌入与重排序模型系列，在多语言语义表征、复杂指令理解及跨模态检索等任务上实现了突破性进展。
Ollama 下载Embedding模型并配置到Dify中(亲测)
ocean00008899的博客
03-26 2558
Embedding 模型的主要任务是将文本转换为数值向量表示。这些向量可以用于计算文本之间的相似度、进行信息检索和聚类分析。
别只会用别人的模型了，自学Ai大模型，顺序千万不要搞反了！刚入门的小白必备！
2301_81888214的博客
02-13 881
别只会用别人的模型了，自学Ai大模型，顺序千万不要搞反了！刚入门的小白必备！
112页！DeepSeek 7大场景+50大案例+全套提示词 从入门到精通干货
qq_46094651的博客
02-14 425
通过 7 大场景和 50 大案例，知晓在日常生活、家庭教育、职场等领域的具体用法；借助全套提示词，学会与 DeepSeek 有效沟通，提高使用效率，解决各类实际问题。三、日常生活中，可以用 deepseek 解决哪些问题?五、职场工作中，可以用 deepseek 解决哪些问题?六、老板创业者，可以用 deepseek 解决哪些问题?四、家庭教育，可以用 deepseek 解决哪些问题?七、自媒体人，可以用 deepseek解决哪些问题?八、如何把 deepseek 变成你的私人投顾?
AI Agents for Beginners —— 从零开始构建你的 AI 代理
注重AI领域前沿发展
04-14 956
AI Agents for Beginners》是一个专为初学者设计、内容丰富且实践性强的开源项目，通过分阶段的课程带领你逐步理解和掌握 AI 代理的核心技术。从基础概念到实战部署，每一节课都是一个充满启发的学习过程。无论你是技术新人，还是希望拓展技能的开发者，都能从中收获满满。
AI Agents for Beginners —— 初学者构建智能代理的入门利器
注重AI领域前沿发展
04-11 728
随着人工智能（AI）技术的快速发展，越来越多的开发者和技术爱好者希望能够亲手实践构建智能代理系统，实现自主决策和交互。微软推出的 AI Agents for Beginners 项目正是为此而生。本文将带大家全面解读这一项目的核心功能、应用场景及使用方法，帮助初学者快速入门 AI 代理系统开发，并对比介绍类似 KrillinAI 项目的设计理念。
Qwen3-Embedding 本地部署
穿越星空
07-01 1053
本文简单介绍了Qwen3-Embedding如何通过huggingface、ollama以及docker进行本地化部署。
离线部署Ollama+Qwen3-Embedding
07-22
随着人工智能技术的迅速发展，各种大规模预训练语言模型（如Ollama和Qwen3-Embedding）在自然语言处理领域扮演着越来越重要的角色。这些模型通常依赖于海量的计算资源和数据进行训练，从而实现在各种语言任务上的...
大模型——Qwen3-Embedding最新嵌入模型使用指南
最新发布
07-24 233
Qwen3-Embedding是2025年6月发布的最新文本嵌入模型系列，基于Qwen3基础模型开发，提供0.6B到8B多种参数规模选择。该系列支持100+种语言，具有32K长文本处理能力，嵌入维度可自定义（32-4096）。8B版本在MTEB多语言榜单排名第一（70.58分），支持检索、分类、聚类等多种任务。模型可通过Ollama或HuggingFace安装，使用SentenceTransformers或Transformers库进行调用，支持自定义指令优化特定任务表现。嵌入模型与重排序模型可组合使用，兼
开源模型应用落地-qwen模型小试-Qwen3-8B-推理加速-vLLM-Docker（二）
热门推荐
以微薄之力，予他人些许温暖.
05-06 2万+
通过容器化技术整合高性能推理框架vLLM与Qwen3-8B模型，可实现资源高效利用、灵活部署及推理性能优化，为大模型本地化应用提供轻量化解决方案
【亲测免费】 ai-agents-for-beginners：入门AI Agent开发者的核心课程
gitblog_00671的博客
03-25 887
ai-agents-for-beginners：入门AI Agent开发者的核心课程 项目介绍 AI Agents for Beginners 是由微软开源的一个课程项目，旨在帮助初学者了解并掌握构建 AI Agent 的基础知识。这个课程包含了10个详细的课程单元，每个单元都涵盖了构建 AI Agent 的不同方面，从基础概念到实际应用场景，应有尽有。课程采用理论与实践相结合的方式，通过文字教程...
AI：AI-For-Beginners(Microsoft的人工智能课程=符号AI+神经网络+计算机视觉+自然语言处理)的简介、使用方法之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
03-18 3391
​ AI：AI-For-Beginners(Microsoft的人工智能课程=符号AI+神经网络+计算机视觉+自然语言处理)的简介、使用方法之详细攻略 目录 AI-For-Beginners(Microsoft课程)的简介 AI-For-Beginners(Microsoft课程)的使用方法 AI-For-Beginners(Microsoft课程)的简介 探索微软的12周、24课时的课程，进入人工智能的世界！深入了解符号AI、神经网络、计算机视觉、自然语言处理等。动手实验、测验和实验室增
【GitHub开源项目实战】Microsoft AI Agents for Beginners 实战解析：零基础构建智能体的任务控制架构与训练机制拆解
努力分享一些人工智能、计算机视觉、影像等相关的知识干货！
05-12 764
《AI Agents for Beginners》是由微软开源的入门级智能体训练框架与学习项目，旨在帮助初学者理解并实践构建 AI Agent 的核心组成：状态感知、动作决策、任务执行与环境反馈控制。该项目采用 Python 编写，结构简洁、逻辑清晰，包含多个典型任务如资源采集、目标搜索与导航控制等，通过统一接口封装 Agent 状态控制流程，逐步引导开发者从零搭建完整的 Agent 行为循环系统。
《DeepSeek 从入门到精通》｜7 大场景 ×50 案例 × 全场景提示词｜AI 效率革命必备神器！
yeahmana的博客
02-12 429
本书整合 20 + 行业实测精华，咖啡钱就能 Get 年薪 30W 的 AI 办公技能！🟢 场景全覆盖：职场汇报 / 论文润色 / 代码生成 / 自媒体爆款 / 商业分析 / 跨境电商 / 生活助手。《DeepSeek 从入门到精通》｜7 大场景 ×50 案例 × 全场景提示词｜AI 效率革命必备神器！🟢 50 个高能案例：附赠可直接套用的【场景化提示词模板库】🟢 完整实操路径：认知→提示词→案例→避坑指南四步闭环。✨ 被 Deadline 追杀的职场人。✨ 想涨粉 10W + 的内容创作者。
dify集成embedding模型报错
03-11
<think>好的，我现在需要帮助用户解决Dify集成Embedding模型时遇到的报错问题。首先，我得了解一下用户的具体情况。用户可能已经按照Dify的文档进行了配置，但在使用自定义的Embedding模型时出现了错误。常见的报错可能包括模型加载失败、API连接问题、维度不匹配或者内存不足等。 首先，我应该考虑用户可能遇到的错误类型。例如，如果用户看到“Model load failed”这样的错误，可能的原因有模型路径不正确、文件损坏，或者依赖库版本不兼容。这时候需要检查模型文件的路径是否正确，特别是绝对路径的问题，以及是否安装了必要的依赖，比如PyTorch或TensorFlow的特定版本。 接下来，如果是连接类错误，比如“API connection error”，可能是用户的Embedding模型需要通过HTTP接口调用，而网络配置有问题，如端口被占用或防火墙限制。这时候需要确认服务是否正常启动，端口是否开放，以及Dify的配置文件中是否正确设置了API地址。 维度不匹配的错误，比如“Dimension mismatch”，通常是因为不同Embedding模型的输出维度不同。如果用户之前使用的是OpenAI的模型，换成其他模型后，可能维度不一致，导致向量数据库查询失败。这时候需要检查新模型的输出维度，并在Dify中更新相关配置，或者重新生成向量数据。 内存不足的问题，“Out of memory”可能出现在模型太大而硬件资源不足的情况下。这时候建议用户选择轻量级模型，或者增加硬件资源，如使用GPU加速。 此外，还需要提醒用户检查日志文件，这是定位问题的关键。Dify的日志通常位于logs目录下，查看详细的错误信息可以帮助更快找到原因。同时，确保模型格式正确，比如是否转换过模型格式，如HuggingFace的模型可能需要特定的加载方式。 如果用户的问题不在这些常见情况中，可能需要更详细的信息，比如具体的错误日志、模型类型、部署环境等。这时候应该引导用户提供更多细节，以便进一步分析。 总结来说，处理这类问题需要系统性地排查配置、依赖、资源、模型兼容性等方面，逐步缩小可能的原因，并给出相应的解决方案。同时，保持回答结构清晰，帮助用户一步步解决问题，确保他们能够理解和操作。</think>在集成Embedding模型到Dify平台时遇到报错，可能涉及多个环节的问题。以下是排查步骤和常见解决方案： --- ### **一、常见错误类型** #### 1. **模型加载失败** - **现象**：`Model load failed` / `Unsupported model type` - **可能原因**： - 模型文件路径错误 - 模型格式不兼容（如未正确转换HuggingFace格式） - 缺少依赖库（如未安装`transformers`/`sentence-transformers`） - **解决方案**： 1. 检查模型文件路径是否为**绝对路径**，确保Dify有权限访问 2. 确认模型已通过`save_pretrained()`保存完整文件（包括`config.json`/`pytorch_model.bin`） 3. 安装必要依赖： ```bash pip install transformers sentence-transformers ``` --- #### 2. **API连接错误** - **现象**：`Connection refused` / `Timeout` - **可能原因**： - Embedding服务未启动 - 端口冲突或被防火墙拦截 - Dify配置文件中API地址错误 - **解决方案**： 1. 检查服务状态（以本地部署为例）： ```bash # 若使用sentence-transformers curl http://localhost:5000/healthcheck ``` 2. 修改默认端口（如从5000改为6000），更新Dify的`.env`配置： ```env EMBEDDING_API_URL=http://localhost:6000 ``` --- #### 3. **维度不匹配** - **现象**：`Dimension mismatch` / `Invalid vector length` - **可能原因**： - 新Embedding模型的输出维度与原有向量数据库不兼容 - 未正确配置模型输出维度参数 - **解决方案**： 1. 查询模型输出维度（如`sentence-transformers/all-MiniLM-L6-v2`输出384维） 2. 在Dify的向量数据库（如Weaviate）中更新索引配置： ```python class_obj = { "class": "Document", "vectorizer": "none", "vectorIndexConfig": {"distance": "cosine"}, "properties": [...] # 确保维度与模型匹配 } ``` --- #### 4. **内存不足** - **现象**：`CUDA out of memory` / `Killed` - **可能原因**： - 模型过大超出显存/内存 - 未启用量化或动态批处理 - **解决方案**： 1. 使用轻量级模型（如`all-MiniLM-L6-v2`仅占用200MB） 2. 启用GPU加速（需安装CUDA版PyTorch） 3. 添加内存限制参数： ```python from sentence_transformers import SentenceTransformer model = SentenceTransformer(&#39;model_name&#39;, device=&#39;cuda&#39;, max_memory={0:&#39;10GB&#39;}) ``` --- ### **二、通用排查步骤** 1. **检查日志** - Dify日志：`logs/dify.log` - Embedding服务日志：`journalctl -u dify-embedding.service`（若使用systemd） 2. **验证模型独立性** - 直接在Python中测试模型： ```python from sentence_transformers import SentenceTransformer model = SentenceTransformer(&#39;您的模型路径&#39;) embeddings = model.encode("测试文本") print(embeddings.shape) # 应输出如(768,) ``` 3. **配置文件核对** - 确保`.env`中参数正确： ```env EMBEDDING_ENABLED=true EMBEDDING_MODEL=local # 本地模型模式 ``` --- ### **三、典型案例** #### **HuggingFace模型加载失败** - **错误**：`OSError: Unable to load weights from pytorch_model.bin` - **修复**： ```bash # 重新下载模型并转换格式 from transformers import AutoModel model = AutoModel.from_pretrained("模型名称") model.save_pretrained("本地路径") ``` --- ### **四、进一步帮助** 如果问题仍未解决，请提供： 1. 完整的错误日志（脱敏后） 2. 模型名称及下载方式 3. Dify版本和部署环境（Docker/源码部署） 示例回复格式： ```markdown **环境**：Dify v0.3.8 + Docker **模型**：BAAI/bge-small-zh-v1.5 **错误日志**： [2023-10-01 12:00:00] ERROR: Failed to initialize model: ... ``` 通过具体信息可以更精准定位问题！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值