Fastgpt学习（1）- 本地化部署（以MacOS为例）

已于 2024-10-23 18:10:47 修改
阅读量1.3k 收藏 21
点赞数 9
分类专栏： 大模型 文章标签： 人工智能 语言模型 fastGPT
于 2024-10-11 15:25:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37827702/article/details/142855090
版权

1.认识fastgpt

2.私有化部署

  • MongoDB：用于存储除了向量外的各类数据
  • PostgreSQL/Milvus：存储向量数据
  • OneAPI: 聚合各类 AI API，支持多模型调用 （任何模型问题，先自行通过 OneAPI 测试校验）
（1）前置工作

Docker环境、网络

（2）开始部署

本地创建文件夹命名为fastgpt，在该文件夹下创建config.json 和 docker-compose.yml 文件。

内容如下：

// 已使用 json5 进行解析，会自动去掉注释，无需手动去除
{
  "feConfigs": {
    "lafEnv": "https://laf.dev" // laf环境。 https://laf.run （杭州阿里云） ,或者私有化的laf环境。如果使用 Laf openapi 功能，需要最新版的 laf 。
  },
  "systemEnv": {
    "vectorMaxProcess": 15,
    "qaMaxProcess": 15,
    "pgHNSWEfSearch": 100 // 向量搜索参数。越大，搜索越精确，但是速度越慢。设置为100，有99%+精度。
  },
  "llmModels": [
    {
      "model": "gpt-4o-mini", // 模型名(对应OneAPI中渠道的模型名)
      "name": "gpt-4o-mini", // 模型别名
      "avatar": "/imgs/model/openai.svg", // 模型的logo
      "maxContext": 125000, // 最大上下文
      "maxResponse": 16000, // 最大回复
      "quoteMaxToken": 120000, // 最大引用内容
      "maxTemperature": 1.2, // 最大温度
      "charsPointsPrice": 0, // n积分/1k token（商业版）
      "censor": false, // 是否开启敏感校验（商业版）
      "vision": true, // 是否支持图片输入
      "datasetProcess": true, // 是否设置为文本理解模型（QA），务必保证至少有一个为true，否则知识库会报错
      "usedInClassify": true, // 是否用于问题分类（务必保证至少有一个为true）
      "usedInExtractFields": true, // 是否用于内容提取（务必保证至少有一个为true）
      "usedInToolCall": true, // 是否用于工具调用（务必保证至少有一个为true）
      "usedInQueryExtension": true, // 是否用于问题优化（务必保证至少有一个为true）
      "toolChoice": true, // 是否支持工具选择（分类，内容提取，工具调用会用到。目前只有gpt支持）
      "functionCall": false, // 是否支持函数调用（分类，内容提取，工具调用会用到。会优先使用 toolChoice，如果为false，则使用 functionCall，如果仍为 false，则使用提示词模式）
      "customCQPrompt": "", // 自定义文本分类提示词（不支持工具和函数调用的模型
      "customExtractPrompt": "", // 自定义内容提取提示词
      "defaultSystemChatPrompt": "", // 对话默认携带的系统提示词
      "defaultConfig": {}, // 请求API时，挟带一些默认配置（比如 GLM4 的 top_p）
      "fieldMap": {} // 字段映射（o1 模型需要把 max_tokens 映射为 max_completion_tokens）
    },
    {
      "model": "gpt-4o",
      "name": "gpt-4o",
      "avatar": "/imgs/model/openai.svg",
      "maxContext": 125000,
      "maxResponse": 4000,
      "quoteMaxToken": 120000,
      "maxTemperature": 1.2,
      "charsPointsPrice": 0,
      "censor": false,
      "vision": true,
      "datasetProcess": true,
      "usedInClassify": true,
      "usedInExtractFields": true,
      "usedInToolCall": true,
      "usedInQueryExtension": true,
      "toolChoice": true,
      "functionCall": false,
      "customCQPrompt": "",
      "customExtractPrompt": "",
      "defaultSystemChatPrompt": "",
      "defaultConfig": {},
      "fieldMap": {}
    },
    {
      "model": "o1-mini",
      "name": "o1-mini",
      "avatar": "/imgs/model/openai.svg",
      "maxContext": 125000,
      "maxResponse": 4000,
      "quoteMaxToken": 120000,
      "maxTemperature": 1.2,
      "charsPointsPrice": 0,
      "censor": false,
      "vision": false,
      "datasetProcess": true,
      "usedInClassify": true,
      "usedInExtractFields": true,
      "usedInToolCall": true,
      "usedInQueryExtension": true,
      "toolChoice": false,
      "functionCall": false,
      "customCQPrompt": "",
      "customExtractPrompt": "",
      "defaultSystemChatPrompt": "",
      "defaultConfig": {
        "temperature": 1,
        "stream": false
      },
      "fieldMap": {
        "max_tokens": "max_completion_tokens"
      }
    },
    {
      "model": "o1-preview",
      "name": "o1-preview",
      "avatar": "/imgs/model/openai.svg",
      "maxContext": 125000,
      "maxResponse": 4000,
      "quoteMaxToken": 120000,
      "maxTemperature": 1.2,
      "charsPointsPrice": 0,
      "censor": false,
      "vision": false,
      "datasetProcess": true,
      "usedInClassify": true,
      "usedInExtractFields": true,
      "usedInToolCall": true,
      "usedInQueryExtension": true,
      "toolChoice": false,
      "functionCall": false,
      "customCQPrompt": "",
      "customExtractPrompt": "",
      "defaultSystemChatPrompt": "",
      "defaultConfig": {
        "temperature": 1,
        "stream": false
      },
      "fieldMap": {
        "max_tokens": "max_completion_tokens"
      }
    }
  ],
  "vectorModels": [
    {
      "model": "text-embedding-ada-002", // 模型名（与OneAPI对应）
      "name": "Embedding-2", // 模型展示名
      "avatar": "/imgs/model/openai.svg", // logo
      "charsPointsPrice": 0, // n积分/1k token
      "defaultToken": 700, // 默认文本分割时候的 token
      "maxToken": 3000, // 最大 token
      "weight": 100, // 优先训练权重
      "defaultConfig": {}, // 自定义额外参数。例如，如果希望使用 embedding3-large 的话，可以传入 dimensions:1024，来返回1024维度的向量。（目前必须小于1536维度）
      "dbConfig": {}, // 存储时的额外参数（非对称向量模型时候需要用到）
      "queryConfig": {} // 参训时的额外参数
    },
    {
      "model": "text-embedding-3-large",
      "name": "text-embedding-3-large",
      "avatar": "/imgs/model/openai.svg",
      "charsPointsPrice": 0,
      "defaultToken": 512,
      "maxToken": 3000,
      "weight": 100,
      "defaultConfig": {
        "dimensions": 1024
      }
    },
    {
      "model": "text-embedding-3-small",
      "name": "text-embedding-3-small",
      "avatar": "/imgs/model/openai.svg",
      "charsPointsPrice": 0,
      "defaultToken": 512,
      "maxToken": 3000,
      "weight": 100
    }
  ],
  "reRankModels": [],
  "audioSpeechModels": [
    {
      "model": "tts-1",
      "name": "OpenAI TTS1",
      "charsPointsPrice": 0,
      "voices": [
        { "label": "Alloy", "value": "alloy", "bufferId": "openai-Alloy" },
        { "label": "Echo", "value": "echo", "bufferId": "openai-Echo" },
        { "label": "Fable", "value": "fable", "bufferId": "openai-Fable" },
        { "label": "Onyx", "value": "onyx", "bufferId": "openai-Onyx" },
        { "label": "Nova", "value": "nova", "bufferId": "openai-Nova" },
        { "label": "Shimmer", "value": "shimmer", "bufferId": "openai-Shimmer" }
      ]
    }
  ],
  "whisperModel": {
    "model": "whisper-1",
    "name": "Whisper1",
    "charsPointsPrice": 0
  }
}
# 数据库的默认账号和密码仅首次运行时设置有效
# 如果修改了账号密码，记得改数据库和项目连接参数，别只改一处~
# 该配置文件只是给快速启动，测试使用。正式使用，记得务必修改账号密码，以及调整合适的知识库参数，共享内存等。
# 如何无法访问 dockerhub 和 git，可以用阿里云（阿里云没有arm包）

version: '3.3'
services:
  # db
  pg:
    image: pgvector/pgvector:0.7.0-pg15 # docker hub
    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/pgvector:v0.7.0 # 阿里云
    container_name: pg
    restart: always
    ports: # 生产环境建议不要暴露
      - 5432:5432
    networks:
      - fastgpt
    environment:
      # 这里的配置只有首次运行生效。修改后，重启镜像是不会生效的。需要把持久化数据删除再重启，才有效果
      - POSTGRES_USER=username
      - POSTGRES_PASSWORD=password
      - POSTGRES_DB=postgres
    volumes:
      - ./pg/data:/var/lib/postgresql/data
  mongo:
    image: mongo:5.0.18 # dockerhub
    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/mongo:5.0.18 # 阿里云
    # image: mongo:4.4.29 # cpu不支持AVX时候使用
    container_name: mongo
    restart: always
    ports:
      - 27017:27017
    networks:
      - fastgpt
    command: mongod --keyFile /data/mongodb.key --replSet rs0
    environment:
      - MONGO_INITDB_ROOT_USERNAME=myusername
      - MONGO_INITDB_ROOT_PASSWORD=mypassword
    volumes:
      - ./mongo/data:/data/db
    entrypoint:
      - bash
      - -c
      - |
        openssl rand -base64 128 > /data/mongodb.key
        chmod 400 /data/mongodb.key
        chown 999:999 /data/mongodb.key
        echo 'const isInited = rs.status().ok === 1
        if(!isInited){
          rs.initiate({
              _id: "rs0",
              members: [
                  { _id: 0, host: "mongo:27017" }
              ]
          })
        }' > /data/initReplicaSet.js
        # 启动MongoDB服务
        exec docker-entrypoint.sh "$$@" &

        # 等待MongoDB服务启动
        until mongo -u myusername -p mypassword --authenticationDatabase admin --eval "print('waited for connection')" > /dev/null 2>&1; do
          echo "Waiting for MongoDB to start..."
          sleep 2
        done

        # 执行初始化副本集的脚本
        mongo -u myusername -p mypassword --authenticationDatabase admin /data/initReplicaSet.js

        # 等待docker-entrypoint.sh脚本执行的MongoDB服务进程
        wait $$!

  # fastgpt
  sandbox:
    container_name: sandbox
    image: ghcr.io/labring/fastgpt-sandbox:latest # git
    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-sandbox:latest # 阿里云
    networks:
      - fastgpt
    restart: always
  fastgpt:
    container_name: fastgpt
    image: ghcr.io/labring/fastgpt:v4.8.9 # git
    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.8.9 # 阿里云
    ports:
      - 3020:3000
    networks:
      - fastgpt
    depends_on:
      - mongo
      - pg
      - sandbox
    restart: always
    environment:
      # root 密码，用户名为: root。如果需要修改 root 密码，直接修改这个环境变量，并重启即可。
      - DEFAULT_ROOT_PSW=1234
      # AI模型的API地址哦。务必加 /v1。这里默认填写了OneApi的访问地址。
      - OPENAI_BASE_URL=http://oneapi:3000/v1
      # AI模型的API Key。（这里默认填写了OneAPI的快速默认key，测试通后，务必及时修改）
      - CHAT_API_KEY=sk-fastgpt
      # 数据库最大连接数
      - DB_MAX_LINK=30
      # 登录凭证密钥
      - TOKEN_KEY=any
      # root的密钥，常用于升级时候的初始化请求
      - ROOT_KEY=root_key
      # 文件阅读加密
      - FILE_TOKEN_KEY=filetoken
      # MongoDB 连接参数. 用户名myusername,密码mypassword。
      - MONGODB_URI=mongodb://myusername:mypassword@mongo:27017/fastgpt?authSource=admin
      # pg 连接参数
      - PG_URL=postgresql://username:password@pg:5432/postgres
      # sandbox 地址
      - SANDBOX_URL=http://sandbox:3000
      # 日志等级: debug, info, warn, error
      - LOG_LEVEL=info
      - STORE_LOG_LEVEL=warn
    volumes:
      - ./config.json:/app/data/config.json

  # oneapi
  mysql:
    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/mysql:8.0.36 # 阿里云
    image: mysql:8.0.36
    container_name: mysql
    restart: always
    ports:
      - 3306:3306
    networks:
      - fastgpt
    command: --default-authentication-plugin=mysql_native_password
    environment:
      # 默认root密码，仅首次运行有效
      MYSQL_ROOT_PASSWORD: oneapimmysql
      MYSQL_DATABASE: oneapi
    volumes:
      - ./mysql:/var/lib/mysql
  oneapi:
    container_name: oneapi
    image: ghcr.io/songquanpeng/one-api:v0.6.7
    # image: registry.cn-hangzhou.aliyuncs.com/fastgpt/one-api:v0.6.6 # 阿里云
    ports:
      - 3001:3000
    depends_on:
      - mysql
    networks:
      - fastgpt
    restart: always
    environment:
      # mysql 连接参数
      - SQL_DSN=root:oneapimmysql@tcp(mysql:3306)/oneapi
      # 登录凭证加密密钥
      - SESSION_SECRET=oneapikey
      # 内存缓存
      - MEMORY_CACHE_ENABLED=true
      # 启动聚合更新，减少数据交互频率
      - BATCH_UPDATE_ENABLED=true
      # 聚合更新时长
      - BATCH_UPDATE_INTERVAL=10
      # 初始化的 root 密钥（建议部署完后更改，否则容易泄露）
      - INITIAL_ROOT_TOKEN=fastgpt
    volumes:
      - ./oneapi:/data
networks:
  fastgpt:

（将fastgpt的ports修改为3020:3000）

对于该配置文件下载时存在三个版本，如何选择依据下图：

（3）下载镜像
docker-compose up -d     # 一次性启动所有服务，若本地没有该服务镜像则会先下载
（4）安装ollama

Ollama是管理和运行大型语言模型的开源工具。其功能特点包括：可在本地运行大型语言模型，保障数据隐私与安全；支持多种模型管理，方便用户按需拉取切换；轻量级，对系统资源要求相对合理，能在多种设备运行；具有简单的命令行界面，易于使用。在应用场景方面，对开发者而言，能在本地快速搭建测试环境，提高开发效率；对普通用户来说，可用于个人创作任务并确保数据安全，是一款功能实用且易用的工具。

ollama安装地址 ｜ ollama仓库地址

ollama常用命令：

  1. ollama pull <model - name> ：用于从 Ollama 的模型库中拉取指定名称的模型到本地
  2. ollama list：该命令会列出已经下载到本地的所有模型
  3. ollama run <model - name>：启动指定名称的模型

（5）安装M3E
# 1.拉取镜像
只有amd64架构：docker pull registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api:latest

# 2.启动镜像（2种方式根据实际情况选择）
# 使用CPU运行
docker run -d --name m3e -p 6100:6008 registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api
# nvida-docker 使用GPU
docker run -d --name m3e -p 6100:6008 --gpus all registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api

测试是否安装成功：

curl --location 'http://localhost:6100/v1/embeddings' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer sk-aaabbbcccdddeeefffggghhhiiijjjkkk' \
--data '{
"model": "m3e",
"input": [
"laf是什么"
]
}'
（6）通过one-api配置国内大模型（以qwen）

根据设定的端口，在浏览器内输入localhost:3001,默认账号为root密码为123456

（端口号在docker-compose.yml文件中查看）

在渠道中配置 通义千问和M3E。

a. 通义千问配置

b. M3E配置

密钥默认设置为: sk-aaabbbcccdddeeefffggghhhiiijjjkkk

c.测试所有渠道

（7）将模型集成进fastgpt

修改config.json文件

 "chatModels": [
	...
     #新增一个模型配置
   {
      "model": "qwen2.5:0.5b", // 模型名(对应OneAPI中渠道的模型名)
      "name": "qwen", // 模型别名
      "avatar": "/imgs/model/openai.svg", // 模型的logo
      "maxContext": 8000, // 最大上下文
      "maxResponse": 8000, // 最大回复
      "quoteMaxToken": 8000, // 最大引用内容
      "maxTemperature": 1.2, // 最大温度
      "charsPointsPrice": 0, // n积分/1k token（商业版）
      "censor": false, // 是否开启敏感校验（商业版）
      "vision": true, // 是否支持图片输入
      "datasetProcess": true, // 是否设置为文本理解模型（QA），务必保证至少有一个为true，否则知识库会报错
      "usedInClassify": true, // 是否用于问题分类（务必保证至少有一个为true）
      "usedInExtractFields": true, // 是否用于内容提取（务必保证至少有一个为true）
      "usedInToolCall": true, // 是否用于工具调用（务必保证至少有一个为true）
      "usedInQueryExtension": true, // 是否用于问题优化（务必保证至少有一个为true）
      "toolChoice": true, // 是否支持工具选择（分类，内容提取，工具调用会用到。目前只有gpt支持）
      "functionCall": false, // 是否支持函数调用（分类，内容提取，工具调用会用到。会优先使用 toolChoice，如果为false，则使用 functionCall，如果仍为 false，则使用提示词模式）
      "customCQPrompt": "", // 自定义文本分类提示词（不支持工具和函数调用的模型
      "customExtractPrompt": "", // 自定义内容提取提示词
      "defaultSystemChatPrompt": "", // 对话默认携带的系统提示词
      "defaultConfig": {}, // 请求API时，挟带一些默认配置（比如 GLM4 的 top_p）
      "fieldMap": {} // 字段映射（o1 模型需要把 max_tokens 映射为 max_completion_tokens）
    },
   ...
]

# 添加m3e向量模型
"vectorModels": [
  ......
    {
      "model": "m3e",
      "name": "m3e",
      "avatar": "/imgs/model/openai.svg",
      "charsPointsPrice": 0,
      "defaultToken": 700,
      "maxToken": 3000,
      "weight": 100
    },
  ......
]

(其中name的值需要与one-api渠道配置中的名称保持一致，model的值需要与模型名称保持一致)

docker-compose down
docker-compose up -d
(8) 测试

访问fastgpt：http://localhost:3020

知识库 - 新建知识库

成功！！

努力的小Qin
关注
专栏目录
FastGPTdocker部署
05-08
docker实现docker本地化部署
WSL2+ChatGLM2+FastGPT+oneapi本地化部署
weixin_42118737的博客
05-06 3441
使用WSL2+docker+oneapi成功部署fastGPT
本地部署FastGPT保姆级教程！轻松使用在线大语言模型
最新发布
Everly_的博客
09-30 1381
FastGPT 是一个基于 LLM 大语言模型的知识库问答系统，提供开箱即用的数据处理、模型调用等能力，它背后依赖OneApi开源项目来访问各种大语言模型提供的能力。各大语言模型提供的访问接口规范不尽相同，为此OneApi项目提供了统一的API接口去对接各种大语言模型。FastGPT的部署架构如图所示：本文章将介绍如何部署OneApi和FastGPT，以及两种在线大语言模型（和）的配置方法。
手把手教你基于 FastGPT 搭建个人知识库
java优质资源提供与创作者
12-22 1万+
对于您的账户（org-FPtm4iWkzMglOZn9J06QAK6F）中的 text-embedding-ada-002 模型来说，每分钟的请求限制是 3 次，您已经使用了 3 次请求，但是您又发送了 1 次请求，所以您需要等待 20 秒后再试。如果您在账户https://platform.openai.com/account/billing中添加了付款方式，您可以增加您的请求限制。我们可以通过向 GPT 提供一些有针对性的资料，然后让 AI 根据这些文档进行交互式对话，回答我们的问题。
FastGPT | 3分钟构建属于自己的AI智能助手
热门推荐
jixn的博客
11-06 7万+
提供手动输入、直接分段、LLM 自动处理和 CSV 等多种数据导入途径，其中“直接分段”支持通过 PDF、WORD、Markdown 和 CSV 文档内容作为上下文。FastGPT 是一个基于 LLM 大语言模型的知识库问答系统，提供开箱即用的数据处理、模型调用等能力。fastgpt其实就是使用了chatgpt的api（或者其他的大模型），构建自己的AI知识库。注意：这是个 API 地址，点击打开是无效的。如果你想部署属于自己的gpt，或者是公司内部使用的。填写完毕后，点击右上角的「部署」，即可完成部署。
FastGPT，知识库AI ！保姆级教程，5分钟上手
favxxx的博客
09-21 1万+
国内直联GPT！清风 AIchat 手把手保姆级使用教程，适合小白“未来几年，所有组织的管理、业务都将AI化，如何利用AI技术，是每一个管理者必须思考的问题”自从去年 12 月 ChatGPT 发布后，带动了新的一轮应用交互革命。尤其是 GPT-3.5 接口全面放开后，LLM 应用雨后春笋般快速涌现。企业信息化1.0 是电算化，2.0 是移动化，3.0 就是 AI 智能化了。企业 AI 化时代，员工关心是如何提高写作效率、工作效率；管理者关心的是如何提高组织的整体效率，促进业务，带动销售，提效降费。
评测：使用开源框架FastGPT快速构建智能助手应用
weixin_43737299的博客
05-05 4090
FastGPT 是一个基于 LLM 大语言模型的知识库问答系统，提供开箱即用的数据处理、模型调用等能力。同时可以通过工作流可视化进行应用编排，从而实现复杂的问答场景和更好的模型体验。更赞的是，FastGPT 项目在 Apache License 2.0 许可下开源，是由环节云计算公司提供支持，具体情况可参考git官方说明。
本地部署 FastGPT
engchina的专栏
08-28 8833
本地部署 FastGPT
dbeaver-ce-24.1.0-macos-aarch64.dmg
06-11
dbeaver-ce-24.1.0-macos-aarch64，数据库连接工具 适用于mac
数据库管理工具:dbeaver-ce-24.0.2-macos-x86-64.dmg
06-16
1.DBeaver是一款通用数据库工具，专为开发人员和数据库管理员设计。 2.DBeaver支持多种数据库系统，包括但不限于MySQL、PostgreSQL、Oracle、DB2、MSSQL、Sybase、Mimer、HSQLDB、Derby、SQLite等，几乎涵盖了市场上...
graalvm-jdk-17-macos-aarch64-bin.tar.gz
08-12
在这款名为“graalvm-jdk-17-macos-aarch64-bin.tar.gz”的压缩包中，我们找到了针对macOS操作系统和Arm64架构的GraalVM JDK 17版本，这是专门为搭载Apple M1等基于Arm架构芯片的Mac设备设计的。 1. **GraalVM JDK ...
jdk-17.0.10-macos
03-19
压缩包内容： Java SE Development Kit 17.0.10 （1）jdk-17.0.10_macos-aarch64_bin.dmg （2）jdk-17.0.10_macos-aarch64_bin.tar.gz （3）jdk-17.0.10_macos-x64_bin.dmg （4）jdk-17.0.10_macos-x64_bin.tar.gz
scrt-9.5.1-3272.macos-arm64.dmg
03-09
标题中的"scrt-9.5.1-3272.macos-arm64.dmg"是一个软件安装包，主要用于macOS操作系统，并且是为基于ARM架构的处理器（如Apple M1芯片）编译的。这个文件的后缀".dmg"表明它是一个苹果Disk Image文件，通常用于在Mac...
使用 FastGPT 构建高质量 AI 知识库
favxxx的博客
09-11 2982
向量搜索是一种可以比较文本相似度的技术。大模型具有总结和推理能力，可以从给定的文本中回答问题。最有效的知识库构建方式是 QA 和手动构建。Q 的长度不宜过长。需要调整提示词，来引导模型回答知识库内容。可以通过调整搜索相似度、最大搜索数量和限定词来控制模型回复的范围。关于 SealosSealos 是一款以 Kubernetes 为内核的云操作系统发行版。它以云原生的方式，抛弃了传统的云计算架构，转向以 Kubernetes 为云内核的新架构，使企业能够像使用个人电脑一样简单地使用云。
本地部署FastGPT使用在线大语言模型
2401_85375186的博客
06-06 2629
FastGPT 是一个基于 LLM 大语言模型的知识库问答系统，提供开箱即用的数据处理、模型调用等能力，它背后依赖OneApi开源项目来访问各种大语言模型提供的能力。各大语言模型提供的访问接口规范不尽相同，为此OneApi项目提供了统一的API接口去对接各种大语言模型。FastGPT的部署架构如图所示：
fastgpt本地详细部署以及配置_fastgpt本地部署，2024年最新腾讯T3大牛手把手教你
Python毕设源码程序王哥
04-15 3375
【代码】fastgpt本地详细部署以及配置_fastgpt本地部署，2024年最新腾讯T3大牛手把手教你。
保姆级教程：FastGPT构建个人本地知识库(Docker compose快速部署)
m0_62536353的博客
01-22 3万+
FastGPT构建个人知识库，使用Docker compose部署
加快10倍！GPT-Fast来了！使用原生 PyTorch 加速生成式 AI
阿木寺的博客
12-04 2200
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【视觉和Transformer】微信交流群扫码加入CVer知识星球，可以最快学习到最新顶会顶刊上的论文idea和CV从入门到精通资料，以及最前沿项目和应用！发论文，强烈推荐！转载自：量子位（QbitAI）PyTorch团队让大模型推理速度加快了10倍。且只用了不到1000行的纯原生PyTorch代码！项目名为GP...
基于FastGPT搭建知识库问答系统
wbsu2004的博客
04-26 8493
FastGPT 是基于 LLM 大模型的 AI 知识库构建平台。
fastgpt本地化部署
01-26
FastGPT是一个基于LLM大语言模型的知识库问答系统，可以通过本地化部署来实现更高的灵活性和安全性。下面是FastGPT本地化部署的步骤： 1. 准备环境：首先，确保你的机器上已经安装了Python和相关的依赖库，例如PyTorch和Transformers。 2. 下载模型：从FastGPT的官方网站或GitHub仓库下载预训练的模型文件。这些文件通常以`.bin`或`.ckpt`为扩展名。 3. 加载模型：使用Python代码加载下载的模型文件，并创建一个FastGPT模型的实例。你可以使用PyTorch或Transformers库来完成这个步骤。 4. 配置模型：根据你的需求，对模型进行配置。你可以设置模型的超参数，例如最大序列长度、批处理大小等。 5. 加载Tokenizer：FastGPT模型需要一个Tokenizer来将输入文本转换为模型可以理解的格式。你可以使用Transformers库提供的Tokenizer类来完成这个步骤。 6. 输入问题：将用户提供的问题作为输入传递给FastGPT模型。确保将问题转换为模型可以接受的格式，例如将文本转换为token IDs。 7. 获取答案：使用FastGPT模型对输入问题进行推理，并获取模型生成的答案。你可以使用模型的`generate`方法来完成这个步骤。 8. 输出答案：将模型生成的答案返回给用户。你可以将答案转换为文本格式，并进行适当的后处理，例如去除特殊字符或格式化输出。 下面是一个示例代码，演示了如何使用FastGPT进行本地化部署： ```python import torch from transformers import GPT2LMHeadModel, GPT2Tokenizer # 加载模型 model_path = "path/to/model.bin" model = GPT2LMHeadModel.from_pretrained(model_path) # 加载Tokenizer tokenizer = GPT2Tokenizer.from_pretrained(model_path) # 输入问题 question = "What is the capital of France?" input_ids = tokenizer.encode(question, return_tensors="pt") # 获取答案 output = model.generate(input_ids) # 输出答案 answer = tokenizer.decode(output[0], skip_special_tokens=True) print("Answer:", answer) ``` 请注意，以上代码仅为示例，实际部署时可能需要根据具体情况进行适当的修改和调整。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值