简单两步实现离线部署ChatGPT，ChatGPT平替版，无需GPU离线搭建ChatGPT

已于 2023-10-06 14:47:32 修改
阅读量5.1k 收藏 28
点赞数 5
分类专栏： 工具 文章标签： chatgpt 人工智能 大模型
于 2023-10-06 11:09:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Online_exspiravit/article/details/133605334
版权

文末附主程序安装包和大模型参数文件~
演示效果如下图所示：

在这里插入图片描述

一、使用方法

软件主要分为两个部分：GPT4ALL软件主体（主程序）+模型参数（离线模型），如果使用API Key的话则不需要下载模型参数。

可以从官网下载主程序安装包或者直接使用小编准备好安装包进行主程序安装（软件官网也在最后的链接中）。

1、主程序安装

以Windows为例，双击安装程序正常执行主程序安装即可，大概需要200MB左右的磁盘空间。

在这里插入图片描述
安装完成后，第一次进入主程序界面会出现两个隐私选项，为了保证个人隐私的安全，建议都选择【No】。

在这里插入图片描述

2、模型下载

选择完隐私选项后，大概率会自动弹出一个窗口，让我们选择一个模型进行下载，其中有红色字体的的模型表示不推荐下载，大概率是因为内存不满足模型运行的最

最低0.47元/天 解锁文章
熬夜整理模型下载、量化、代码调用可免费使用离线部署的上千个国内外开源大模型梳理，整理开源的大语言模型，以规模较小、可私有化部署、训练成本较低的模型为主，包括底座模型，垂直领域微调及应用，数据集与教程等
代码讲故事
01-31 2363
熬夜整理模型下载、量化、代码调用，可免费使用离线部署的上千个国内外开源大模型梳理，整理开源的大语言模型，以规模较小、可私有化部署、训练成本较低的模型为主，包括底座模型，垂直领域微调及应用，数据集与教程等。 * Large Language Model (LLM) 即大规模语言模型，是一种基于深度学习的自然语言处理模型，它能够学习到自然语言的语法和语义，从而可以生成人类可读的文本。
适用于 LLM 推理的最佳 NVIDIA GPU：综合指南
iCloudEnd的博客
09-18 604
GPT-4、BERT 等大型语言模型 (LLM) 和其他基于 Transformer 的模型彻底改变了 AI 格局。这些模型需要大量计算资源进行训练和推理。选择合适的 GPU 进行 LLM 推理可以极大地影响性能、成本效益和可扩展性。在本文中，我们将探索最适合 LLM 推理任务的 NVIDIA GPU，并根据 CUDA 核心、Tensor 核心、VRAM、时钟频率和价格对它们进行比较。无论您是在设置个人项目、研究环境还是大规模生产部署，本指南都将帮助您选择最适合您需求的 GPU。
推荐一款本地开源的ChatGPT离线版：Jan
xzji001的博客
02-12 4293
是一款允许用户在自己的电脑上完全离线运行大型语言模型的本地 AI 软件。这款软件适用于 Windows、macOS 和 Linux 操作系统，通过利用用户自己的硬件资源(如 CPU 和显卡)来提供算力。Jan 作为一个免费的开源替代品，旨在为用户提供一个无需互联网连接、不产生额外费用的大语言模型使用环境。
让你的电脑免费离线跑“ChatGPT“
z551646的博客
11-10 1117
没错。昨天的文章就是用 AI 生成的。今天这篇文章就教大家入门 AI 应用，在自己的电脑上部署大语言模型。下面进入正文。
AI大模型本地离线部署全解析：三种方案及安装教程，非常详细！
最新发布
lvaolan的博客
03-17 1177
在CPU下运行：docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main。包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。定制和创建您自己的模型。
Pandora-ChatGPT（离线安装教程）（附安装包）
m0_48096446的博客
06-06 4309
这将会安装Pandora-ChatGPT的相应依赖和文件。请确保您的系统已经安装了Python 3.7.0或更高版本。
笔记本电脑部署本地离线版类似ChatGPT3.5的AI模型（CPU+内存运行）
tantu666的博客
04-24 1万+
Vicuna号称"小羊驼"，Vicuna是基于ShareGPT的7万条对话数据对LLaMA微调的模型，13b模型的效果据说可达到ChatGPT3.5 92%的效果，部分问答的评分甚至超过了ChatGPT3.5。里面vicuna-13B-1.1-GPTQ-4bit-32g.GGML.bin和vicuna-13B-1.1-GPTQ-4bit-128g.GGML.bin。下载哪个都可以，我用的是vicuna-13B-1.1-GPTQ-4bit-128g.GGML.bin。
chatgpt 谷歌开源免费语言模型、本地部署、离线使用
qq_42576443的博客
03-15 1249
chatgpt 谷歌开源免费语言模型、本地部署、离线使用
服务器使用宝塔面板Docker应用快速部署 DeepSeek-R1模型，实现Open WebUI访问使用
ttbobocom的博客
02-10 2840
按理这步应该到此为止了，下载模型时老提示超时，这边模型也没下载成功，后面试了几次了下载成功，下了个最小的ollama run deepseek-r1:1.5b 大小1.5G ，模型下载非常慢用时也差不多1个小时。按理这步应该到此为止了，下载模型时老提示超时，这边模型也没下载成功，后面试了几次了几次下载成功，下了个最小的ollama run deepseek-r1:1.5b 大小1.5G ，模型下载非常慢。完成通过域名访问，网址打开时会提示输入管理账号密码，需要设置下，设置好就能正常进入界面。
vLLM×Milvus：如何高效管理GPU内存，减少大模型幻觉
ZILLIZ
11-13 961
大语言模型（LLM）是功能丰富且强大的 AI 系统，能够解决各个领域内的众多问题。它们的发展速度非常快，新模型不断被频繁推出。通常，新推出的 LLM 在处理各种任务时的性能更好。例如 Mistral、Llama、OPT 和 Qwen 等模型都是开源模型，我们可以针对内部数据商用这些模型。然而，在使用这些开源 LLM 时，Serving阶段可能会出现挑战。由于托管 LLM 需要多个GPU，因此其运营...
【ChatGLM】在电脑部署属于自己的人工智能/ChatGPT平替/可离线/可发布
Dec1steee的博客
03-30 1万+
ChatGLM-6B 是一个由清华大学的团队开源的、支持中英双语问答的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。本文旨在介绍如何在电脑部署属于自己的人工智能/可离线/可发布。这是一个有趣而有意义的项目，可以让你体验到人工智能的魅力，也可以让你拥有一个自己定制的智能助手。GPT 模型目前只有 GPT-2 的小规模版本（1.5 亿参数）是开源的，其它版本都是闭源的，只能通过 OpenAI 的 API 来访问。
如何在本地快速搭建一个离线版GPT？无需GPU，无需联网即可使用，速来围观！
AAI666666的博客
11-26 2797
好在现在ChatGPT也有平替版了，可以部署在本地，部署完成后使用过程完全不需要联网，也不需要GPU（显卡）的支持，一般配置的电脑即可保证应用的顺利运行，可以作为ChatGPT的平替选择。
【大模型部署】小白教学,离线本地部署AI： chatglm3+one-api+fastGPT----Linux环境部署CPU运行---带资源包
YeMu11的博客
03-19 4307
chatgln3离线部署linux,cpu运行
部署一个私人定制化GPT聊天机器人（纯干货手把手教学）
weixin_59164654的博客
03-22 3738
个人微信接入GPT机器人、实现自动回复。支持插件等等功能
Jan：一个离线运行的开源ChatGPT替代方案
gitblog_00571的博客
08-09 800
Jan：一个离线运行的开源ChatGPT替代方案 janJan 是一个开源的 ChatGPT 替代品，它完全在您的电脑上离线运行。项目地址:https://gitcode.com/gh_mirrors/ja/jan 项目介绍 Jan 是一款基于AGPLv3许可的开源软件，旨在提供一个完全离线的ChatGPT替代选择。它兼容多种硬件平台，包括NVIDIA GPU（高性能）、Apple M系列芯片以...
【不需要网络不需要显卡】本地部署GPT
weixin_42907150的博客
01-17 4302
GPT4All是一个开源的本地运行的GPT模型，它不需要网络，只借助硬件来实现，而且对硬件要求不高，就算你的电脑没有显卡也可以使用CPU运行。网址如下，官网提供三种系统的客户端把官网拉到最下面会发现有很多已经训练好的模型。这里的每个模型都有介绍和硬件要求（运行内存大小），这里我比较推荐mistral模型和wizardlm模型，mistral模型比较通用，wizardlm模型可以输出很长的内容并且由北京大学参与训练，所以对中文支持更好！
无GPU无网络“本地部署chatGPT”(更新gemma)
热门推荐
weixin_45569617的博客
03-15 3万+
想当初图像生成从DELL到stable diffusion再到苹果的移动部署过了两三年吧聊天bot才发展几个月就可以边缘部署了，如果苹果更新silicon，npu和运存翻倍，争取apple watch也能本地内置，最快ios18 mac、ipad、iPhone能内置吧又是一个平民百姓都高兴的开源项目，chatGPT这种级别的模型甚至能部署到树莓派上运行，然后在操作的过程中也遇到一些问题，这篇就是记录步数的这个过程。
学术版ChatGPT部署
Argo_han的博客
04-18 3458
仅记录本人部署中科院学术版ChatGPT流程。
部署自己的chatgpt
xiaoyaoxiong7的博客
03-22 493
3. 进入/service路径下，执行 pnpm install。6.disown （如果上一句后台运行没有生效的话，保持会话）8.disown（如果上一句后台运行没有生效的话，保持会话）4. 回到根路径，执行 pnpm bootstrap。2. 执行 npm install pnpm -g。1.复制一个.env 文件，修改配置信息。
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值