本地部署基于LLama3知识库问答 （OLLama+Oneapi+Fastgpt）

已于 2024-04-24 15:08:41 修改
阅读量6.5k 收藏 32
点赞数 19
文章标签： oneapi docker 深度学习 llama chatgpt python 机器学习
于 2024-04-24 13:09:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kjzd123/article/details/138153240
版权
本文详细介绍了如何使用Docker安装NVIDIAContainerToolkit，配置ChatOllama容器下载模型，以及部署one-api和fastgpt容器，涉及SQLite、MongoDB和PostgreSQL数据库的初始化和连接设置。
摘要由CSDN通过智能技术生成

1.使用docker搭建ollama容器

1.Install the NVIDIA Container Toolkit.

Configure the repository

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey \
    | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list \
    | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' \
    | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo apt-get update

2.Install the NVIDIA Container Toolkit packages

sudo apt-get install -y nvidia-container-toolkit

3.Start the container

docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

2.使用ChatOllama下载模型 以及体验模型

1.创建chatollama文件夹 然后下载docker-compose.yml
2.运行容器

docker-compose build
docker-compose up

3.首次运行需要初始化初始化SQLite数据库

docker compose exec chatollama npx prisma migrate dev

4.登录127.0.0.1:3000 访问chatOllama 配置ollama地址
在这里插入图片描述
5.下载embedding和chat模型 进行推理 以及可以插入本地数据库数据
在这里插入图片描述
在这里插入图片描述

3.Docker命令创建one-api容器(ip:3001):

sudo docker run --name oneapi -d --restart always -p 3000:3000 -e TZ=Asia/Shanghai -v /home/ubuntu/data/one-api:/data justsong/one-api

创建容器 访问127.0.0.1:3001 创建一个令牌 设置无线访问 以及无限访问时间
在这里插入图片描述

创建chat以及embedding渠道

embeding渠道

设置秘钥为 sk-aaabbbcccdddeeefffggghhhiiijjjkkk
设置秘钥为 sk-aaabbbcccdddeeefffggghhhiiijjjkkk

chat渠道

在这里插入图片描述

4.Docker命令创建fastgpt容器(ip:3020):

在任意目录中手动创建文件夹fastgpt，并在这个文件夹中手动创建docker-compose.yml和config.json文件

docker-compose.yml

# 非 host 版本, 不使用本机代理
version: '3.3'
services:
  pg:
    image: ankane/pgvector:v0.5.0 # git
    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/pgvector:v0.5.0 # 阿里云
    container_name: pg
    restart: always
    ports: # 生产环境建议不要暴露
      - 5432:5432
    networks:
      - fastgpt
    environment:
      # 这里的配置只有首次运行生效。修改后，重启镜像是不会生效的。需要把持久化数据删除再重启，才有效果
      - POSTGRES_USER=username
      - POSTGRES_PASSWORD=password
      - POSTGRES_DB=postgres
    volumes:
      - ./pg/data:/var/lib/postgresql/data
  mongo:
    image: mongo:5.0.18
    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/mongo:5.0.18 # 阿里云
    container_name: mongo
    restart: always
    ports: # 生产环境建议不要暴露
      - 27017:27017
    networks:
      - fastgpt
    environment:
      # 这里的配置只有首次运行生效。修改后，重启镜像是不会生效的。需要把持久化数据删除再重启，才有效果
      - MONGO_INITDB_ROOT_USERNAME=username
      - MONGO_INITDB_ROOT_PASSWORD=password
    volumes:
      - ./mongo/data:/data/db
  fastgpt:
    container_name: fastgpt
    #image: ghcr.io/labring/fastgpt:latest # git
    image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.6.6 # 阿里云
    ports:
      - 3020:3000 #与One API的默认3000地址冲突，所有修改为3020
    networks:
      - fastgpt
    depends_on:
      - mongo
      - pg
    restart: always
    environment:
      # root 密码，用户名为: root
      - DEFAULT_ROOT_PSW=1234
      # 中转地址，如果是用官方号，不需要管
      - OPENAI_BASE_URL=http://192.168.35.134:3000/v1
      - CHAT_API_KEY=sk-ZZKMAmTrQcv5Xbiw16857a9a070d454bAdF95aEf814f0e38
      - DB_MAX_LINK=5 # database max link
      - TOKEN_KEY=any
      - ROOT_KEY=root_key
      - FILE_TOKEN_KEY=filetoken
      # mongo 配置，不需要改. 如果连不上，可能需要去掉 ?authSource=admin
      - MONGODB_URI=mongodb://username:password@mongo:27017/fastgpt?authSource=admin
      # pg配置. 不需要改
      - PG_URL=postgresql://username:password@pg:5432/postgres
    volumes:
      - ./config.json:/app/data/config.json
networks:
  fastgpt:

主要修改以下

- OPENAI_BASE_URL=http://192.168.35.134:3000/v1   你的Ipv4地址
- CHAT_API_KEY=sk-ZZKMAmTrQcv5Xbiw16857a9a070d4   换成你的秘钥


config.json


{
  "systemEnv": {
    "openapiPrefix": "fastgpt",
    "vectorMaxProcess": 15,
    "qaMaxProcess": 15,
    "pgHNSWEfSearch": 100
  },
  "chatModels": [
    {
      "model": "chatglm3",
      "name": "chatglm3",
      "inputPrice": 0,
      "outputPrice": 0,
      "maxContext": 4000,
      "maxResponse": 4000,
      "quoteMaxToken": 2000,
      "maxTemperature": 1.2,
      "censor": false,
      "vision": false,
      "defaultSystemChatPrompt": ""
    }
   
  ],
  "qaModels": [
    {
      "model": "chatglm3",
      "name": "chatglm3",
      "inputPrice": 0,
      "outputPrice": 0,
      "maxContext": 4000,
      "maxResponse": 4000,
      "quoteMaxToken": 2000,
      "maxTemperature": 1.2,
      "censor": false,
      "vision": false,
      "defaultSystemChatPrompt": ""
    }
  ],
  "cqModels": [
    {
      "model": "chatglm3",
      "name": "chatglm3",
      "inputPrice": 0,
      "outputPrice": 0,
      "maxContext": 4000,
      "maxResponse": 4000,
      "quoteMaxToken": 2000,
      "maxTemperature": 1.2,
      "censor": false,
      "vision": false,
      "defaultSystemChatPrompt": ""
    }
  ],
  "extractModels": [
    {
      "model": "chatglm3",
      "name": "chatglm3",
      "inputPrice": 0,
      "outputPrice": 0,
      "maxContext": 4000,
      "maxResponse": 4000,
      "quoteMaxToken": 2000,
      "maxTemperature": 1.2,
      "censor": false,
      "vision": false,
      "defaultSystemChatPrompt": ""
    }
  ],
  "qgModels": [
    {
      "model": "chatglm3",
      "name": "chatglm3",
      "inputPrice": 0,
      "outputPrice": 0,
      "maxContext": 4000,
      "maxResponse": 4000,
      "quoteMaxToken": 2000,
      "maxTemperature": 1.2,
      "censor": false,
      "vision": false,
      "defaultSystemChatPrompt": ""
    }
  ],
  "vectorModels": [
    {
      "model": "m3e",
      "name": "m3e",
      "price": 0.1,
      "defaultToken": 700,
      "maxToken": 3000
    }
  ],
  "reRankModels": [],
  "audioSpeechModels": [
    {
      "model": "tts-1",
      "name": "OpenAI TTS1",
      "inputPrice": 0,
      "outputPrice": 0,
      "voices": [
        { "label": "Alloy", "value": "alloy", "bufferId": "openai-Alloy" },
        { "label": "Echo", "value": "echo", "bufferId": "openai-Echo" },
        { "label": "Fable", "value": "fable", "bufferId": "openai-Fable" },
        { "label": "Onyx", "value": "onyx", "bufferId": "openai-Onyx" },
        { "label": "Nova", "value": "nova", "bufferId": "openai-Nova" },
        { "label": "Shimmer", "value": "shimmer", "bufferId": "openai-Shimmer" }
      ]
    }
  ],
  "whisperModel": {
    "model": "whisper-1",
    "name": "Whisper1",
    "inputPrice": 0,
    "outputPrice": 0
  }
}

然后在此目录下打开终端输入以下命令(创建的fastgpt文件夹内打开命令行):

docker-compose bulid  #依据docker-compose.yum生成镜像
docker-compose up -d  #启动容器加 -d代表后台守护进程启动

进入fastgpt的web页面:

输入默认的用户名root，密码1234 创建应用设置
在这里插入图片描述

设置知识库
在这里插入图片描述

进行对话

在这里插入图片描述
在这里插入图片描述

​

kjzd123
关注
ollama + fastgpt 搭建免费本地知识库
编程探索与数字构建 | Python与Java之旅
07-13 1981
基于 LLM 大语言模型的知识库问答系统。
如何用Ollama本地私有化的问答助手
m0_69696922的博客
04-29 151
2.下载完成之后打开运行，进入终端执行 ollama，如图所示就是安装成功，然后安装模型：ollama run llama3。1.Ollama官方网站下载。
Flowise+OneAPI+Ollama搭建本地知识库问答
最新发布
BBM的博客
08-16 1256
使用Flowise、OneAPI、Ollama搭建本地知识库问题，首选你要准备三台虚拟机，分别将这三种应用进行部署，默认使用的操作系统Ubuntu22.04。
OLLAMA部署qwen:7b,与fastgpt集成
wengad的博客
04-18 3425
它帮助用户快速在本地运行大模型，通过简单的安装指令，可以让用户执行一条命令就在本地运行开源大型语言模型，例如 Llama 2。这里使用的是4.6.8的版本，这里是从github上拉了分支，直接部署在操作系统上的，如果是docker安装，那么请修改对应映射出来的config.local.json,然后重启fastgpt容器即可。注：本文章默认之前fastgpt都已经配置好了，这次只是新增一个qwen:7b的模型对接。在渠道清单中，点击刚才创建的渠道条目的“测试”按钮，如果配置没问题，那么测试可以通过。
Llama-Factory + Ollama 打造属于自己的中文版 Llama3
hyang1974的博客
05-05 6683
Meta Llama3发布已经有一小段时间了。和以往的原始 Llama 模型一样，Llama 3 对中文的支持效果欠佳。本文则探讨如何使用 Llama-Factory 对 Llama3 进行中文微调的具体过程，并通过 Ollama 本地部署中文微调的 Llama3 模型，打造属于自己的个性化的 Llama3 LLM 。
ollama + fastgpt搭建本地私有AI大模型智能体工作流（AI Agent Flow）-- windows环境
ainnle的专栏
05-18 8369
ollama + fastgpt搭建本地私有AI大模型智能体工作流（AI Agent Flow）-- windows环境； windows搭建真正本地RAG检索agent。
第三十一篇-Ollama+OneAPI基本集成配置
木卫二号的专栏
06-13 2193
本文介绍使用oneapi+ollama实现openai接口实现。
大模型 API 推理全指南 | OneAPI + Ollama + vLLM + ChatTool
qq_39517117的博客
04-29 6070
OneAPI + vLLM + Ollama + ChatTool，探索如何通过 OpenAI 风格的 API 接口，优雅地管理和调用各种大模型。
本地部署Llama3并构建私人知识库进行问答
xiangxueerfei的博客
05-30 1967
最新的Llama3，基础版本在对话方面，已经非常可用，相当于本地有了一个随时可以聊天的助手。在构建私人知识库进行问答方面，我试的几个工具，目前都还处于不太可用的状态，我调过一些参数，也尝试了使用Markdown文本的知识库，都不OK。期待早日这类工具能更完善些，或者LLM运营商提供私人知识库服务。更期待Llama3 70B级别的LLM能在本地便捷地运行起来。
（linux系统环境下）ollama + fastgpt搭建本地私有大模型
纸飞机的旅行的博客
07-27 1361
（linux系统环境下）ollama + fastgpt搭建本地私有大模型
手把手教你轻松本地部署Llama3和私有知识库
m0_59163425的博客
05-15 5080
该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。上面只能在终端中使用，操作界面不像ChatGPT那样美观，如果能使用web页面进行交互，使用体验更好，也能保留之前的聊天记录，翻遍我们翻阅查询。
大模型部署-使用OpenVINO本地化部署LLaMa3-附项目源码+流程教程-优质项目实战.zip
06-07
本项目将介绍如何使用OpenVINO进行大模型的本地化部署，特别是针对LLaMa3模型的实例。通过该项目，开发者可以学习到如何将复杂的模型部署到边缘设备，以便在本地运行高效且实时的推理任务。 LLaMa3是一种大规模的预...
搭建本地私有知识问答系统：MaxKB + Ollama + Llama3 （wsl网络代理配置、MaxKB-API访问配置）
jiangbenchu的博客
07-25 837
MaxKB 是一款基于 LLM 大语言模型的开源知识库问答系统，旨在成为企业的最强大脑，支持从多种数据源导入和管理知识。。开箱即用：支持直接上传文档、自动爬取在线文档，支持文本自动拆分、向量化、RAG（检索增强生成），智能问答交互体验好；
Llama3本地部署的解决方案
热门推荐
herosunly的博客
04-23 10万+
本文主要介绍了Llama3本地部署的解决方案，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 下载模型文件 3. 运行代码 3.1 修改文件 3.2 运行API 3.3 运行聊天界面 3.4 Python调用API 3.4.1 单轮对话 3.4.2 多轮对话
Ollama安装、远程访问等设置；FastGPT大模型RAG知识库结合使用案例
weixin_42357472的博客
04-12 2302
参考：Ollama作为后端大模型加载运行FastGPT作为前端页面聊天集成RAG框架。
Llama3本地部署及API接口本地调试，15分钟搞定最新Meta AI开源大模型本地Windows电脑部署
程序员陆通
04-21 1万+
你知道国内大模型多少是基于Llama2改造的，你就知道Llama模型有多厉害了，那么现在Llama3刚出来，搞自媒体的赶紧蹭Llama3的流量，搞技术的程序员赶紧抓住研究一下，看能否技术变现一下，尤其搞技术的，再不动到时年龄大了被裁员了不要怨天怨地的！
使用FastGPT+OneAPI在本地使用Llama3
BBM的博客
05-04 2647
FastGPT 是一个基于 LLM 大语言模型的知识库问答系统，提供开箱即用的数据处理、模型调用等能力。同时可以通过 Flow 可视化进行工作流编排，从而实现复杂的问答场景！他的重要特点就是工作流编排。
Fastgpt配合chatglm+m3e或ollama+m3e搭建个人知识库
BiuBiu_Ka
04-12 7247
人工智能大语言模型是近年来人工智能领域的一项重要技术，它的出现标志着自然语言处理领域的重大突破。这些模型利用深度学习和大规模数据训练，能够理解和生成人类语言，为各种应用场景提供了强大的文本处理能力。AI大语言模型的技术原理主要基于深度学习和自然语言处理技术，通过自监督学习和大规模文本数据的预训练来学习语言的表示。训练完成后，可以通过微调等方法，将模型应用于特定的任务和应用场景。未来，AI大语言模型有望在更多领域发挥作用，包括自然语言理解、文本生成、对话系统、语言翻译等。
fastGPT 接入Ollama 模型避坑指南
枫蓝驿的博客
07-16 1747
fastgpt+ollama知识库应用
LLaMA+Alpaca怎么搭建部署训练
05-17
LLaMA+Alpaca是一个基于PyTorch的自然语言处理框架，主要用于生成式对话模型的训练和部署。以下是搭建、部署、训练LLaMA+Alpaca的步骤： 1. 安装依赖项：在安装LLaMA+Alpaca之前需要安装以下依赖项： - Python 3.7或更高版本 - PyTorch 1.7或更高版本 - Transformers 4.0或更高版本 - Flask 2. 下载代码：可以从LLaMA+Alpaca的GitHub页面上下载代码，也可以使用以下命令从GitHub上克隆代码： ``` git clone https://github.com/microsoft/LLaMA.git ``` 3. 部署：可以使用以下命令启动LLaMA+Alpaca的部署： ``` cd LLaMA/deployment python app.py ``` 这将会在本地启动一个Flask服务器并提供对话API。 4. 训练模型：可以使用以下命令在LLaMA+Alpaca上训练对话模型： ``` python train.py \ --dataset_path <path-to-dataset> \ --tokenizer_name <tokenizer-name> \ --model_name_or_path <model-name-or-path> \ --output_dir <output-dir> \ --num_train_epochs <num-epochs> \ --per_device_train_batch_size <batch-size> \ --gradient_accumulation_steps <accumulation-steps> \ --learning_rate <learning-rate> ``` 其中，\<path-to-dataset>是对话数据集的路径，\<tokenizer-name>和\<model-name-or-path>分别是使用的tokenizer和模型名称或路径，\<output-dir>是输出路径，\<num-epochs>是训练的epoch数，\<batch-size>是每个GPU上的批量大小，\<accumulation-steps>是梯度累积步骤数，\<learning-rate>是学习率。 5. 部署新模型：可以使用以下命令将新训练的模型部署到Flask服务器上： ``` python update_model.py \ --model_path <path-to-model> \ --tokenizer_name <tokenizer-name> \ --model_name <model-name> ``` 其中，\<path-to-model>是新训练的模型路径，\<tokenizer-name>是使用的tokenizer名称，\<model-name>是新模型名称。 以上就是搭建、部署、训练LLaMA+Alpaca的步骤。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值