搭建本地AI知识库问答系统

1、Docker服务安装

安装教程：Ubuntu 安装 Docker

2、Ollama安装

2.1 下载ollama并安装：Ollama

// 查看是否安装正常
ollama --version

2.2 下载大语言模型

以阿里 通义千问14(8.2G)B为例（根据自己需求及服务器配置确定）

// 下载语言模型
ollama run qwen:14b

验证是否安装成功

2.3 下载向量模型

ollama pull shaw/dmeta-embedding-zh

// 测试语言模型api请求是否可以正常使用
curl 'http://localhost:11434/api/chat' \
--data '{
    "model": "qwen:7b",
    "messages": [
        {
            "role": "user",
            "content": "你是谁"
        }
    ],
    "temperature": 0.1,
    "stream": false
}'
// 测试向量模型api请求是否可以正常使用
curl 'http://localhost:11434/api/embeddings' \
--data '{
  "model": "shaw/dmeta-embedding-zh",
  "prompt": "天空是灰色的"
}'

2.4 下载 docker 文件 和 config 文件

mkdir kbqa
cd kbqa
curl -O https://harryai.cc/kbqa/docker-compose.yml
curl -O https://harryai.cc/kbqa/config.json

// 安装docker-compose
sudo curl -L "https://github.com/docker/compose/releases/download/v2.6.1/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
// 赋予二进制文件可执行权限
sudo chmod +x /usr/local/bin/docker-compose
// 启动 docker 并后台运行
docker-compose up -d

2.5 修改ollama服务配置文件

// 编辑文件
vim /etc/systemd/system/ollama.service
// 添加环境变量
Environment="OLLAMA_HOST=0.0.0.0"
// 重载 systemd 并重启 Ollama
systemctl daemon-reload
systemctl restart ollama

测试是否成功
地址栏输入：http://ip:11434
出现 Ollama is running 代表配置成功

3、配置One API渠道

访问路径http://ip:3001

// 查看模型列表
ollama list
// 查看运行的模型
ollama ps

配置qwen:7b和shaw/dmeta-embedding-zh

4、配置FastGPT

4.1 配置应用

注意：不管配置了啥最好都重启一下
访问路径http://ip:3000

创建AI对话



如果列表中没有自己安装的本地模型，可进行修改配置文件
进入到docker容器安装目录，修改config.json

修改配置文件后执行 docker restart fastgpt 重新启动容器

4.2 配置知识库

索引模型和文件处理模型中没有的话在config.json中进行配置，配置后重新启动fastgpt容器

4.3 添加数据集

输入完成保存即可

4.4 应用关联知识库

一个应用只能关联同种向量模型的知识库（不能既关联模型A又关联模型Ｂ）

4.5 网页转Markdown（添加网页版文本数据）

链接：https://github.com/jina-ai/reader



网络链接格式 https://r.jina.ai/网络文章地址

4.6 PDF转Markdown

安装插件 pip install marker-pdf
使用命令 marker_single pdf路径 转换后文件路径