LlamaIndex：4 行代码，让大模型接入你的数据库，搭建私有知识库-CSDN博客

本文链接：https://blog.csdn.net/huang9604/article/details/147729714

本文为 LlamaIndex 系列的第二篇。前文介绍了 LlamaIndex 的核心功能、基础概念、安装步骤、应用示例。本文详细介绍如何使用 LlamaIndex 导入数据库的数据，搭建私有知识库（附 python 代码示例）。对于企业，大部分的数据存储在数据库，LlamaIndex 支持对数据库数据的导入、转换和向量索引处理，利用大语言模型（LLMs）进行智能查询和分析，高效搭建私有知识库。

基于私有数据库数据的智能问答流程

使用 LlamaIndex，接入数据库数据，搭建私有知识库，实现智能问答应用的流程如下：

初始化流程：

使用 LlamaIndex 的数据库读取器，加载数据库数据。
使用嵌入模型，将数据转换成向量形式。
数据向量被存储到向量索引中，以便后续检索。

问答流程：

用户提出问题。
查询引擎将用户问题传递给嵌入模型，生成向量。
检索器根据用户问题（向量形式），从向量索引中找到最相关的 top N 片段。
查询引擎将 top N 片段和用户问题传递给语言模型。
语言模型生成回答并返回给用户。

开发准备（安装）

安装 python 包

pip install llama-index -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install llama-index-llms-deepseek -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install llama-index-readers-database -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install llama_index.embeddings.huggingface -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install psycopg2-binary -i https://pypi.tuna.tsinghua.edu.cn/simple

嵌入模型

使用 huggingface 上的 BAAI 的嵌入模型。以下两个是轻量级的嵌入模型：

BAAI/bge-small-en-v1.5 : https://huggingface.co/BAAI/bge-small-en-v1.5
BAAI/bge-small-zh-v1.5 : https://huggingface.co/BAAI/bge-small-zh-v1.5

由于科学上网的原因，上面的两个嵌入模型可能不好下载。海哥已经从 huggingface 下载好了。关注我，后台发送消息：“嵌入模型”，获取下载链接。

示例数据集

从 kaggle 下载中国电影数据：https://www.kaggle.com/datasets/pwang001/movie-recommender

在 pg 数据库建表，并导入数据集。

CREATE TABLE public.chinese_movie_ratings (
  movie_type varchar(50) NULL, -- 电影类型
  main_actors varchar(100) NULL, -- 主演
  region varchar(50) NULL, -- 地区
  director varchar(50) NULL, -- 导演
  features varchar(100) NULL, -- 特色
  rating numeric(3, 1) NULL, -- 评分
  movie_name varchar(100) NOT NULL, -- 电影名
  CONSTRAINT chinese_movie_ratings_pk PRIMARY KEY (movie_name)
);
COMMENT ON TABLE public.chinese_movie_ratings IS '中国电影评分表';

-- Column comments

COMMENT ON COLUMN public.chinese_movie_ratings.movie_type IS '电影类型';
COMMENT ON COLUMN public.chinese_movie_ratings.main_actors IS '主演';
COMMENT ON COLUMN public.chinese_movie_ratings.region IS '地区';
COMMENT ON COLUMN public.chinese_movie_ratings.director IS '导演';
COMMENT ON COLUMN public.chinese_movie_ratings.features IS '特色';
COMMENT ON COLUMN public.chinese_movie_ratings.rating IS '评分';
COMMENT ON COLUMN public.chinese_movie_ratings.movie_name IS '电影名';

导入数据后，对数据进行查看：

代码示例

设置使用的嵌入模型和语言模型

嵌入模型使用 BAAI/bge-small-zh-v1.5（中文）；语言模型使用 DeepSeek 的 deepseek-chat。

import os
from dotenv import load_dotenv
from llama_index.core import VectorStoreIndex, Settings
from llama_index.readers.database import DatabaseReader
from llama_index.llms.deepseek import DeepSeek
from llama_index.embeddings.huggingface import HuggingFaceEmbedding
from sqlalchemy import create_engine

api_key = os.environ["DEEPSEEK_API_KEY"]
embed_model_path = 'D:\\DevelopTools\\huggingface_model\\baai\\bge-small-zh-v1.5'
llm = DeepSeek(model="deepseek-chat", api_key=api_key)

Settings.llm = llm  # 绑定语言模型（用于生成回答）
# 绑定嵌入模型（用于生成向量）
Settings.embed_model = HuggingFaceEmbedding(
    model_name=embed_model_path,
    cache_folder=embed_model_path
)

设置数据库的连接

load_dotenv()
# 数据库连接配置
host = os.getenv("PG_HOST")
port = os.getenv("PG_PORT")
database = os.getenv("PG_DATABASE")
user = os.getenv("PG_USER")
password = os.getenv("PG_PASSWORD")

connection_string = f"postgresql://{user}:{password}@{host}:{port}/{database}"
engine = create_engine(connection_string)

# 初始化数据库读取器
db_reader = DatabaseReader(
    engine=engine,  # 使用 SQLAlchemy 引擎
)

2. 读取数据并初始化为向量索引，创建查询引擎，用户提问并得到模型的回答（4 行核心代码）

sql_query = '''
SELECT movie_type, 
       main_actors, 
       region, 
       director, 
       features, 
       rating, 
       movie_name
FROM public.chinese_movie_ratings;
'''
user_input = '我不是药神的评分是多少？'

# 将数据转换成 documents 对象
documents = db_reader.load_data(query=sql_query)
# 创建向量索引
index = VectorStoreIndex.from_documents(documents)
# 基于索引，创建查询引擎
query_engine = index.as_query_engine()
# 用户提问并获取回答
response = query_engine.query(user_input)
print(response)

可实现多轮对话交互，根据对知识库的检索，模型回答用户的问题：

print("知识库已准备就绪！您现在可以询问问题。")
print("输入 'exit' 退出。")
while True:
    user_input = input("您的问题: ")
    if user_input.lower() == "exit":
        break
    try:
        response = query_engine.query(user_input)
        print("助手回答:", response)
    except Exception as e:
        print(f"处理查询时出错: {e}")

问答示例（模型的回答与数据库数据一致）

正在创建向量索引...
索引创建完成...
《我不是药神》的评分是8.9分。
知识库已准备就绪！您现在可以询问问题。
输入 'exit' 退出。
您的问题: 我不是药神的主演是谁？
助手回答: 徐峥、王传君、周一围、谭卓和章宇。
您的问题: 介绍一下鬼子来了，评分是多少
助手回答: 《鬼子来了》是一部中国大陆的剧情片，由姜文执导并主演，其他主要演员包括香川照之、袁丁、姜宏波和丛志军。这部电影被归类为经典作品，评分为9.2分。
您的问题: 人在囧途和驴得水这两部电影，哪一部评分高？
助手回答: 《驴得水》的评分更高，达到了8.3分。
您的问题: exit

Process finished with exit code 0

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

基于此，我用做产品的心态来打磨这份大模型教程，深挖痛点并持续修改了近70次后，终于把整个AI大模型的学习门槛，降到了最低！

在这个版本当中：

第一您不需要具备任何算法和数学的基础
第二不要求准备高配置的电脑
第三不必懂Python等任何编程语言

您只需要听我讲，跟着我做即可，为了让学习的道路变得更简单，这份大模型教程已经给大家整理并打包，现在将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

五、AI产品经理大模型教程

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

目标：了解AI大模型的基本概念、发展历程和核心原理。
内容：
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
- L1.4.1 知识大模型
- L1.4.2 生产大模型
- L1.4.3 模型工程方法论
- L1.4.4 模型工程实践
- L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
内容：
- L2.1 API接口
- L2.1.1 OpenAI API接口
- L2.1.2 Python接口接入
- L2.1.3 BOT工具类框架
- L2.1.4 代码示例
- L2.2 Prompt框架
- L2.3 流水线工程
- L2.4 总结与展望