从零开始FastGPT本地部署|Windows

已于 2024-08-30 10:20:14 修改
阅读量1.3k 收藏 21
点赞数 10
分类专栏： ChatGPT工具 文章标签： fastapi windows
于 2024-08-23 16:27:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_29950703/article/details/141463956
版权

文章目录

一、配置One-API

1.拉git

https://github.com/labring/FastGPT

在这里插入图片描述

2.改端口

到one-api文件夹下，找到docker-compose.yaml，将第10行的3000:3000改成4000:3000
在这里插入图片描述

3.启动容器

docker-compose pull
docker-compose up -d

在这里插入图片描述

4.启动One-API

浏览器中输入127.0.0.1:4000
在这里插入图片描述
登录账号root，密码123456

一登录就要改密码，我的改为123456root
在这里插入图片描述

二、配置Fast-GPT

官方部署教程

1.新建文件

  • 新建文件夹fastgpt
  • 在文件夹下，新建文件config.json，
  • 新建文件docker-compose.yml

config.json如下，或Github链接

// 已使用 json5 进行解析，会自动去掉注释，无需手动去除
{
  "feConfigs": {
    "lafEnv": "https://laf.dev" // laf环境。 https://laf.run （杭州阿里云） ,或者私有化的laf环境。如果使用 Laf openapi 功能，需要最新版的 laf 。
  },
  "systemEnv": {
    "vectorMaxProcess": 15,
    "qaMaxProcess": 15,
    "pgHNSWEfSearch": 100 // 向量搜索参数。越大，搜索越精确，但是速度越慢。设置为100，有99%+精度。
  },
  "llmModels": [
    {
      "model": "gpt-4o-mini", // 模型名(对应OneAPI中渠道的模型名)
      "name": "gpt-4o-mini", // 模型别名
      "avatar": "/imgs/model/openai.svg", // 模型的logo
      "maxContext": 125000, // 最大上下文
      "maxResponse": 16000, // 最大回复
      "quoteMaxToken": 120000, // 最大引用内容
      "maxTemperature": 1.2, // 最大温度
      "charsPointsPrice": 0, // n积分/1k token（商业版）
      "censor": false, // 是否开启敏感校验（商业版）
      "vision": true, // 是否支持图片输入
      "datasetProcess": true, // 是否设置为知识库处理模型（QA），务必保证至少有一个为true，否则知识库会报错
      "usedInClassify": true, // 是否用于问题分类（务必保证至少有一个为true）
      "usedInExtractFields": true, // 是否用于内容提取（务必保证至少有一个为true）
      "usedInToolCall": true, // 是否用于工具调用（务必保证至少有一个为true）
      "usedInQueryExtension": true, // 是否用于问题优化（务必保证至少有一个为true）
      "toolChoice": true, // 是否支持工具选择（分类，内容提取，工具调用会用到。目前只有gpt支持）
      "functionCall": false, // 是否支持函数调用（分类，内容提取，工具调用会用到。会优先使用 toolChoice，如果为false，则使用 functionCall，如果仍为 false，则使用提示词模式）
      "customCQPrompt": "", // 自定义文本分类提示词（不支持工具和函数调用的模型
      "customExtractPrompt": "", // 自定义内容提取提示词
      "defaultSystemChatPrompt": "", // 对话默认携带的系统提示词
      "defaultConfig": {} // 请求API时，挟带一些默认配置（比如 GLM4 的 top_p）
    },
    {
      "model": "gpt-4o",
      "name": "gpt-4o",
      "avatar": "/imgs/model/openai.svg",
      "maxContext": 125000,
      "maxResponse": 4000,
      "quoteMaxToken": 120000,
      "maxTemperature": 1.2,
      "charsPointsPrice": 0,
      "censor": false,
      "vision": true,
      "datasetProcess": false,
      "usedInClassify": true,
      "usedInExtractFields": true,
      "usedInToolCall": true,
      "usedInQueryExtension": true,
      "toolChoice": true,
      "functionCall": false,
      "customCQPrompt": "",
      "customExtractPrompt": "",
      "defaultSystemChatPrompt": "",
      "defaultConfig": {}
    }
  ],
  "vectorModels": [
    {
      "model": "text-embedding-ada-002", // 模型名（与OneAPI对应）
      "name": "Embedding-2", // 模型展示名
      "avatar": "/imgs/model/openai.svg", // logo
      "charsPointsPrice": 0, // n积分/1k token
      "defaultToken": 700, // 默认文本分割时候的 token
      "maxToken": 3000, // 最大 token
      "weight": 100, // 优先训练权重
      "defaultConfig": {}, // 自定义额外参数。例如，如果希望使用 embedding3-large 的话，可以传入 dimensions:1024，来返回1024维度的向量。（目前必须小于1536维度）
      "dbConfig": {}, // 存储时的额外参数（非对称向量模型时候需要用到）
      "queryConfig": {} // 参训时的额外参数
    },
    {
      "model": "text-embedding-3-large",
      "name": "text-embedding-3-large",
      "avatar": "/imgs/model/openai.svg",
      "charsPointsPrice": 0,
      "defaultToken": 512,
      "maxToken": 3000,
      "weight": 100,
      "defaultConfig": {
        "dimensions": 1024
      }
    },
    {
      "model": "text-embedding-3-small",
      "name": "text-embedding-3-small",
      "avatar": "/imgs/model/openai.svg",
      "charsPointsPrice": 0,
      "defaultToken": 512,
      "maxToken": 3000,
      "weight": 100
    }
  ],
  "reRankModels": [],
  "audioSpeechModels": [
    {
      "model": "tts-1",
      "name": "OpenAI TTS1",
      "charsPointsPrice": 0,
      "voices": [
        { "label": "Alloy", "value": "alloy", "bufferId": "openai-Alloy" },
        { "label": "Echo", "value": "echo", "bufferId": "openai-Echo" },
        { "label": "Fable", "value": "fable", "bufferId": "openai-Fable" },
        { "label": "Onyx", "value": "onyx", "bufferId": "openai-Onyx" },
        { "label": "Nova", "value": "nova", "bufferId": "openai-Nova" },
        { "label": "Shimmer", "value": "shimmer", "bufferId": "openai-Shimmer" }
      ]
    }
  ],
  "whisperModel": {
    "model": "whisper-1",
    "name": "Whisper1",
    "charsPointsPrice": 0
  }
}

docker-compose.yml如下，或Github链接

# 数据库的默认账号和密码仅首次运行时设置有效
# 如果修改了账号密码，记得改数据库和项目连接参数，别只改一处~
# 该配置文件只是给快速启动，测试使用。正式使用，记得务必修改账号密码，以及调整合适的知识库参数，共享内存等。
# 如何无法访问 dockerhub 和 git，可以用阿里云（阿里云没有arm包）

version: '3.3'
services:
  # db
  pg:
    image: pgvector/pgvector:0.7.0-pg15 # docker hub
    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/pgvector:v0.7.0 # 阿里云
    container_name: pg
    restart: always
    ports: # 生产环境建议不要暴露
      - 5432:5432
    networks:
      - fastgpt
    environment:
      # 这里的配置只有首次运行生效。修改后，重启镜像是不会生效的。需要把持久化数据删除再重启，才有效果
      - POSTGRES_USER=username
      - POSTGRES_PASSWORD=password
      - POSTGRES_DB=postgres
    volumes:
      - ./pg/data:/var/lib/postgresql/data
  mongo:
    image: mongo:5.0.18 # dockerhub
    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/mongo:5.0.18 # 阿里云
    # image: mongo:4.4.29 # cpu不支持AVX时候使用
    container_name: mongo
    restart: always
    ports:
      - 27017:27017
    networks:
      - fastgpt
    command: mongod --keyFile /data/mongodb.key --replSet rs0
    environment:
      - MONGO_INITDB_ROOT_USERNAME=myusername
      - MONGO_INITDB_ROOT_PASSWORD=mypassword
    volumes:
      - ./mongo/data:/data/db
    entrypoint:
      - bash
      - -c
      - |
        openssl rand -base64 128 > /data/mongodb.key
        chmod 400 /data/mongodb.key
        chown 999:999 /data/mongodb.key
        echo 'const isInited = rs.status().ok === 1
        if(!isInited){
          rs.initiate({
              _id: "rs0",
              members: [
                  { _id: 0, host: "mongo:27017" }
              ]
          })
        }' > /data/initReplicaSet.js
        # 启动MongoDB服务
        exec docker-entrypoint.sh "$$@" &

        # 等待MongoDB服务启动
        until mongo -u myusername -p mypassword --authenticationDatabase admin --eval "print('waited for connection')" > /dev/null 2>&1; do
          echo "Waiting for MongoDB to start..."
          sleep 2
        done

        # 执行初始化副本集的脚本
        mongo -u myusername -p mypassword --authenticationDatabase admin /data/initReplicaSet.js

        # 等待docker-entrypoint.sh脚本执行的MongoDB服务进程
        wait $$!

  # fastgpt
  sandbox:
    container_name: sandbox
    image: ghcr.io/labring/fastgpt-sandbox:latest # git
    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-sandbox:latest # 阿里云
    networks:
      - fastgpt
    restart: always
  fastgpt:
    container_name: fastgpt
    image: ghcr.io/labring/fastgpt:v4.8.9 # git
    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.8.9 # 阿里云
    ports:
      - 3000:3000
    networks:
      - fastgpt
    depends_on:
      - mongo
      - pg
      - sandbox
    restart: always
    environment:
      # root 密码，用户名为: root。如果需要修改 root 密码，直接修改这个环境变量，并重启即可。
      - DEFAULT_ROOT_PSW=1234
      # AI模型的API地址哦。务必加 /v1。这里默认填写了OneApi的访问地址。
      - OPENAI_BASE_URL=http://oneapi:3000/v1
      # AI模型的API Key。（这里默认填写了OneAPI的快速默认key，测试通后，务必及时修改）
      - CHAT_API_KEY=sk-fastgpt
      # 数据库最大连接数
      - DB_MAX_LINK=30
      # 登录凭证密钥
      - TOKEN_KEY=any
      # root的密钥，常用于升级时候的初始化请求
      - ROOT_KEY=root_key
      # 文件阅读加密
      - FILE_TOKEN_KEY=filetoken
      # MongoDB 连接参数. 用户名myusername,密码mypassword。
      - MONGODB_URI=mongodb://myusername:mypassword@mongo:27017/fastgpt?authSource=admin
      # pg 连接参数
      - PG_URL=postgresql://username:password@pg:5432/postgres
      # sandbox 地址
      - SANDBOX_URL=http://sandbox:3000
      # 日志等级: debug, info, warn, error
      - LOG_LEVEL=info
      - STORE_LOG_LEVEL=warn
    volumes:
      - ./config.json:/app/data/config.json

  # oneapi
  mysql:
    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/mysql:8.0.36 # 阿里云
    image: mysql:8.0.36
    container_name: mysql
    restart: always
    ports:
      - 3306:3306
    networks:
      - fastgpt
    command: --default-authentication-plugin=mysql_native_password
    environment:
      # 默认root密码，仅首次运行有效
      MYSQL_ROOT_PASSWORD: oneapimmysql
      MYSQL_DATABASE: oneapi
    volumes:
      - ./mysql:/var/lib/mysql
  oneapi:
    container_name: oneapi
    image: ghcr.io/songquanpeng/one-api:v0.6.7
    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/one-api:v0.6.6 # 阿里云
    ports:
      - 3001:3000
    depends_on:
      - mysql
    networks:
      - fastgpt
    restart: always
    environment:
      # mysql 连接参数
      - SQL_DSN=root:oneapimmysql@tcp(mysql:3306)/oneapi
      # 登录凭证加密密钥
      - SESSION_SECRET=oneapikey
      # 内存缓存
      - MEMORY_CACHE_ENABLED=true
      # 启动聚合更新，减少数据交互频率
      - BATCH_UPDATE_ENABLED=true
      # 聚合更新时长
      - BATCH_UPDATE_INTERVAL=10
      # 初始化的 root 密钥（建议部署完后更改，否则容易泄露）
      - INITIAL_ROOT_TOKEN=fastgpt
    volumes:
      - ./oneapi:/data
networks:
  fastgpt:

2.启动docker

在这里插入图片描述
在这里插入图片描述
启动成功在这里插入图片描述

在这里插入图片描述

3.启动Fast-GPT

浏览器中输入127.0.0.1:3000
在这里插入图片描述
登录账号root，密码1234

三、FastAPI 部署国内大模型

参考官方文档：使用 One API 接入 Azure、ChatGLM 和本地模型

3.1 先领下API-KEY

阿里云灵积模型 - APIKEY管理
在这里插入图片描述

3.2 OneAPI 添加渠道和令牌

  • 添加渠道
    在这里插入图片描述
    然后测试一下
    在这里插入图片描述

  • 添加令牌
    在这里插入图片描述

3.3 修改fastgpt配置

3.3.1 docker-compose.yaml 改OPENAI_BASE_URL 和 CHAT_API_KEY

# 通义千问灵积地址
- OPENAI_BASE_URL=https://dashscope.aliyuncs.com/compatible-mode/v1
# API-KEY
- CHAT_API_KEY=sk-3axxxxxx0933

在这里插入图片描述

.

3.3.2 config.json修改对话模型和向量模型

  1. 修改对话模型的model和name
{
      "model": "qwen-turbo",
      "name": "通义千问",
      "avatar": "/imgs/model/openai.svg",
      "maxContext": 8000,
      "maxResponse": 4000,
      "quoteMaxToken": 20000,
      "maxTemperature": 1,
      ... ...
    }

在这里插入图片描述

  1. 修改向量模型的model和name，才能跟数据库对话+语义检索

有以下4种可选，官网介绍

text-embedding-v1
text-embedding-async-v1
text-embedding-v2
text-embedding-async-v2

在这里插入图片描述

  "vectorModels": [
    {
      "model": "text-embedding-v1", // 模型名（与OneAPI对应）
      "name": "Embedding-1", // 模型展示名
      "avatar": "/imgs/model/openai.svg", // logo
      "charsPointsPrice": 0, // n积分/1k token
      "defaultToken": 700, // 默认文本分割时候的 token
      "maxToken": 3000, // 最大 token
      "weight": 100, // 优先训练权重
      "defaultConfig": {}, // 自定义额外参数。例如，如果希望使用 embedding3-large 的话，可以传入 dimensions:1024，来返回1024维度的向量。（目前必须小于1536维度）
      "dbConfig": {}, // 存储时的额外参数（非对称向量模型时候需要用到）
      "queryConfig": {} // 参训时的额外参数
    },
    {
      "model": "text-embedding-v2",
      "name": "Embedding-2",
      "avatar": "/imgs/model/openai.svg",
      "charsPointsPrice": 0,
      "defaultToken": 700,
      "maxToken": 3000,
      "weight": 100,
      "defaultConfig": {
        "dimensions": 1024
      }
    }
  ],

3.4 重启FastAPI

docker-compose down
docker-compose up -d

模型就可以看到“通义千问”啦！
在这里插入图片描述

四、可能遇到的Bug

Bug1 容器冲突

Error response from daemon: Conflict. The container name “/mysql” is already in use by container “a5aa88cf3776e6c88537473cb57747adb8ee664ee1b701400acd7eed82e43379”. You have to remove (or rename) that container to be able to reuse that name.

  • bug原因：container 冲突
  • 解决方法：删掉该容器docker rm -f 容器id
    docker rm -f a5aa88cf3776e6c88537473cb57747adb8ee664ee1b701400acd7eed82e43379

Bug2 模型配置失败

可能原因：

  • API-KEY失效
  • config.json中的gpt相关配置没删除
  • 没重启FastGPT （额，我就是重新pull了好几遍，才看到官网文档的重启步骤：得down，不是pull）
    在这里插入图片描述

Bug3 向量模型不匹配

  • 向量模型没修改
    在这里插入图片描述
华尔街的幻觉
关注
专栏目录
FastGPTdocker部署
05-08
docker实现docker本地化部署
本地部署 FastGPT
engchina的专栏
08-28 8744
本地部署 FastGPT
【大模型部署】小白教学,离线本地部署AI-fastGPT-资源包
03-19
两个写好的配置文件
本地部署FastGPT使用在线大语言模型
2401_85375186的博客
06-06 2237
FastGPT 是一个基于 LLM 大语言模型的知识库问答系统，提供开箱即用的数据处理、模型调用等能力，它背后依赖OneApi开源项目来访问各种大语言模型提供的能力。各大语言模型提供的访问接口规范不尽相同，为此OneApi项目提供了统一的API接口去对接各种大语言模型。FastGPT的部署架构如图所示：
fastgpt本地详细部署以及配置
平原的博客
03-10 5978
在 CentOS 上，如果您想让普通用户安装和使用 Docker，您需要执行以下步骤。oneapi中的通用key，如果配置的是本地chatglm或者m3e向量模型，填以下key即可。注：配置oneapi服务地址，如果127.0.0.1 不管用，使用服务器中的ifconfig。请注意，用户必须注销并重新登录才能在不使用 sudo 的情况下运行 Docker 命令。最后访问：127.0.0.1:4000即可，默认用户root，默认密码1234。注：如果中间出现奇奇怪怪的问题，可以重新拉取，删掉容器重新启动。
小白之 FastGPT Windows 本地化部署
最新发布
qq_51047851的博客
08-25 1941
小白之 FastGPT Windows 本地化部署
Windows部署FastGPT
tianransanye的博客
06-14 1209
Windows本地搭建FastGPT
2024年Linux CentOS 环境下安装JDK的三种方法(2)，2024年最新农民工看完都学会了
2401_83947434的博客
05-03 1129
为了做好运维面试路上的助攻手，特整理了上百道，让你面试不慌心不跳，高薪offer怀里抱！这次整理的面试题，本份面试集锦涵盖了1、什么是运维?2、在工作中，运维人员经常需要跟运营人员打交道，请问运营人员是做什么工作的?3、现在给你三百台服务器，你怎么对他们进行管理?4、简述raid0 raid1raid5二种工作模式的工作原理及特点5、LVS、Nginx、HAproxy有什么区别?工作中你怎么选择?6、Squid、Varinsh和Nginx有什么区别，工作中你怎么选择?
保姆级教程：FastGPT构建个人本地知识库(Docker compose快速部署)
热门推荐
m0_62536353的博客
01-22 3万+
FastGPT构建个人知识库，使用Docker compose部署
创新实训-Fastgpt本地部署
qq_62562429的博客
05-30 813
1.安装Docker登录Docker官网，找到适合自己电脑版本的docker下载，一路next即可安装完成后，可在cmd中检查是否安装成功，同时检查是否安装docker-compose2. 创建一个文件夹fastgpt，在文件夹中创建两个文件，分别为config.json和docker-compose.yml以下是是两个文件中的内容3.启动容器在所创建的文件夹中打开cmd，运行以下命令运行成功后显示如下4.执行完成后，访问浏览器。
ChatGPT本地部署教程
05-21
ChatGPT本地部署教程
FastGPT本地手动部署（二）
Linux猿
06-29 684
本篇文章主要介绍如何在本地手动部署 FastGPT。
Fastgpt本地或服务器私有化部署常见问题
洛阳泰山的博客
07-16 601
Fastgpt本地或服务器私有部署常见问题遇到问题和排查解决办法
fastgpt本地详细部署以及配置_fastgpt本地部署(1)
m0_61549984的博客
04-07 566
为了允许普通用户运行 Docker 命令，您需要将用户添加到 docker 用户组。oneapi中的通用key，如果配置的是本地chatglm或者m3e向量模型，填以下key即可。请注意，用户必须注销并重新登录才能在不使用 sudo 的情况下运行 Docker 命令。
fastGPT安装在windows
LYW5856的专栏
03-09 999
如果提示 rs0 状态，则代表运行成功 rs.status()接着再输入：chown 999:root ./mongodb.key。接着再输入：chmod 600 ./mongodb.key。3、以root进入ubantu，cd到fastgpt目录。4、修改docker-compose.yml。5.在fasttgpt目录。2、安装ubantu。
fastgpt本地详细部署以及配置_fastgpt本地部署，2024年最新腾讯T3大牛手把手教你
Python毕设源码程序王哥
04-15 3265
【代码】fastgpt本地详细部署以及配置_fastgpt本地部署，2024年最新腾讯T3大牛手把手教你。
AI大模型企业应用实战：Prompt让LLM理解知识
2401_84204413的博客
06-25 1531
• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；
私有化知识库本地部署打造专属ai助理(FastGpt本地部署全过程及相关模型部署训练)
m0_74205854的博客
06-01 2034
FastGPT 是一个基于 LLM 大语言模型的知识库问答系统，提供开箱即用的数据处理、模型调用等能力，通过FastGp可以快速的进行搭建和训练一个AI助理。OneApi的作用就是把这些API的调用进行了整合到了一起,使我们进行使用的时候完全的按照OneAPI的一套规范就能够进行调用和使用其他的大模型,无疑OneApi极大的进行提高了我们进行学习AI的效率,不用在不同的模型接口之间进行切换,也使得FastApi可以直接的通过这套规范进行训练.
fastgpt本地部署
06-15
FastGPT是基于GPT模型的一种优化或定制版本，它通常指的是将GPT模型进行本地部署，以便在本地计算机上运行，而不是依赖于云端服务。本地部署的优势包括更快的响应速度、更好的数据隐私和更低的网络延迟。 要将FastGPT本地部署，你需要完成以下几个步骤： 1. **下载模型文件**：首先，从FastGPT的官方源或者GitHub仓库获取预训练的模型权重文件，这些文件通常包含模型参数和配置信息。 2. **选择平台**：根据你的需求，你可以选择使用Python的TensorFlow、PyTorch或Hugging Face的transformers库等框架来加载和运行模型。 3. **环境配置**：确保你的开发环境已经安装了相应的依赖，如GPU支持（如果模型是GPU加速的）、CUDA等。 4. **加载和初始化**：使用所选框架加载模型，并可能需要进行一些定制，比如调整模型大小、设置输入输出格式等。 5. **编写应用代码**：编写程序来处理用户输入，调用模型进行推理，然后解析和显示输出。 6. **本地运行**：运行你的应用程序，将输入提供给模型，接收并处理结果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值