基于火山引擎云搜索服务和豆包模型搭建 RAG 推理任务

大语言模型（LLM，Large language model）作为新一轮科技产业革命的战略性技术，其核心能力在于深层语境解析与知识融合。在生成式人工智能方向主要用于图像生成，书写文稿，信息搜索等。当下的 LLM 模型是基于大量数据训练的，目的是让它们掌握广泛的普遍知识，这些知识被储存在它们神经网络的权重（也就是参数记忆）里。但是，如果我们要求 LLM 生成的回答涉及到它训练数据之外的知识，比如最新的、专有的或某个特定领域的信息，这时就可能出现事实上的错误（我们称之为“幻觉”）。

RAG （Retrieval-Augmented Generation，检索增强生成）的核心思想是让语言模型在生成回答或文本时能够动态地从外部知识库中检索相关信息。这种方法能够提高模型生成内容的准确性、可靠性和透明度，同时减少“幻觉”。

本文将介绍如何基于火山引擎云搜索服务和方舟平台来构建专属的 RAG 智能问答系统。系统使用 OpenSearch 作为外部知识库，火山豆包作为大语言模型，全流程构建在火山引擎平台上。本次实践采用的语料为火山引擎云搜索服务知识库，将语料处理后存入 OpenSearch 索引中，同时通过部署在云搜索服务 ML 节点上的 Embedding 模型，将原始语料额外转化为向量字段存储在同一个 OpenSearch 索引中，方便后续做混合查询召回。

在查询流程中，用户通过对话框输入问题，RAG 应用会将用户输入的问题通过 Embedding 模型转化为向量，然后使用云搜索服务 OpenSearch 的混合查询功能查询问题向量和问题文本召回 Top n 的文档结果，再将文档结果发送给豆包大模型，最后按照要求根据文档内容回答用户的问题。

准备资源

创建云搜索 ML 服务

登陆火山引擎云搜索控制台，创建实例集群，版本选用 Opensearch 2.9.0。实例创建完成后可根据实际需求，开通实例和 Dashboards 的公网访问。

1.进入实例详情页->ML 服务，配置 CPU /内存比例后启用。

2.进入模型服务->公共模型，启动一个模型用于语义嵌入 Embedding，推荐使用 PEG，配置参数后启动。

开通大模型服务

1.进入火山引擎方舟控制台，在模型推理下创建推理接入点，接入模型建议选用 Doubao-pro-32k（或者Doubao-lite-32k），创建完成后可以获取到接入点 Endpoint。