AutoRAG项目本地模型配置完全指南-CSDN博客

AutoRAG项目本地模型配置完全指南

AutoRAG RAG AutoML Tool - Find optimal RAG pipeline for your own data. 项目地址: https://gitcode.com/gh_mirrors/au/AutoRAG

前言

在构建RAG（检索增强生成）系统时，语言模型（LLM）和嵌入模型的选择与配置是核心环节。本文将详细介绍如何在AutoRAG项目中配置本地运行的LLM和嵌入模型，帮助开发者构建高效的RAG应用。

语言模型（LLM）配置

使用LLM的模块

AutoRAG中多个模块支持LLM模型的配置，主要包括：

生成器模块：直接使用LLM生成文本
查询扩展模块：如HyDE、查询分解等
段落压缩模块：如树状总结、精炼等

这些模块都支持通过llm参数指定使用的LLM模型。

支持的LLM模型类型

AutoRAG支持多种LLM接口类型，兼容LlamaIndex框架：

| 模型类型 | 参数名 | 适用场景 | |----------------|-------------|----------------------------| | 官方API | official_api| 官方API服务 | | 兼容API | compatible_api| 兼容API的模型 | | Ollama | ollama | 本地运行的Ollama模型 | | Bedrock | bedrock | AWS Bedrock服务模型 |

配置示例

以下是一个使用兼容API接口配置Mistral模型的示例：

nodes:
  - node_line_name: node_line_1
    nodes:
      - node_type: generator
        modules:
          - module_type: llama_index_llm
            llm: compatible_api
            model: mistralai/Mistral-7B-Instruct-v0.2
            api_base: your_api_base
            api_key: your_api_key

HuggingFace模型使用

HuggingFace模型可以通过两种方式集成：

兼容API接口（推荐用于API端点）：

llm: compatible_api
model: mistralai/Mistral-7B-Instruct-v0.2

直接HuggingFace集成（本地部署）：

llm: huggingface
model_name: mistralai/Mistral-7B-Instruct-v0.2
device_map: "auto"

关键参数说明

model：模型标识符
max_tokens：响应最大token数
temperature：控制输出随机性（0.0-1.0）
api_base：API端点URL
api_key：认证密钥

扩展自定义LLM

开发者可以扩展支持更多LLM模型：

import autorag
from llama_index.core.llms.mock import MockLLM

autorag.generator_models['mockllm'] = MockLLM

注意：新增模型必须符合LlamaIndex LLM接口规范。

嵌入模型配置

使用嵌入模型的模块

主要应用于向量数据库模块，用于文档和查询的向量化表示。

新版YAML配置

从v0.3.13开始支持直接在YAML中配置嵌入模型：

vectordb:
- name: test_db
  db_type: milvus
  embedding_model:
  - type: huggingface
    model_name: intfloat/multilingual-e5-large-instruct

支持的类型包括：official_api、huggingface、mock、ollama、compatible_api。

传统配置方式

AutoRAG默认支持以下嵌入模型：

| 模型类型 | 参数名 | |--------------------------|--------------------------------| | 默认嵌入 | default_embed | | 大模型嵌入 | large_embed | | HuggingFace BGE小模型 | huggingface_baai_bge_small | | HuggingFace BGE-m3 | huggingface_bge_m3 |

扩展自定义嵌入模型

添加韩语嵌入模型KoSimCSE的示例：

import autorag
from autorag import LazyInit
from llama_index.embeddings.huggingface import HuggingFaceEmbedding

autorag.embedding_models['kosimcse'] = LazyInit(
    HuggingFaceEmbedding, 
    model_name="BM-K/KoSimCSE-roberta-multitask"
)

注意：必须使用LazyInit包装器。