本地化部署自建类ChatGPT服务远程访问

已于 2024-01-25 12:57:25 修改
阅读量484 收藏 1
点赞数 1
文章标签： chatgpt python 人工智能 大数据
于 2023-08-04 13:59:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43014359/article/details/132102861
版权

Text generation web UI可为类ChatGPT的大型语言模型提供能够快速上手的网页界面，不仅可以提高使用效率，还可满足私有化部署，或对模型进行自定义。目前，该Web UI已经支持了许多流行的语言模型，包括LLaMA、llama.cpp、GPT-J、Pythia、OPT、GALACTICA等.

而且，Text generation web UI部署非常简便，不仅在github主页上直接提供了一键部署安装包，同时由于是web UI形式,直接通过浏览器即可操作,不过本地化部署,无法远程访问,这里我们结合cpolar内网穿透工具实现从安装到运行最后实现远程访问.

系统环境

*Windows 10

*Python 3.11.4

1. 安装Text generation web UI

在github界面下载压缩包,这里以windows系统为例

https://github.com/oobabooga/text-generation-webui

使用windows系统,我们下载windows压缩包

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5z28RjAP-1691128466496)(https://images.cpolar.com//img/image-20230801100617074.png)]

下载后,这里注意:存放目录的路径不能有空格,然后点击start_windows.bat启动安装

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-LEBrFF2I-1691128466497)(https://images.cpolar.com//img/image-20230801101235390.png)]

在安装过程中会提示选择显卡类型,根据电脑配置正常选择即可,然后等待下载,下载大小2个GB左右大小资源

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-N6JLWrA6-1691128466498)(https://images.cpolar.com//img/image-20230801093634783.png)]

2. 安装依赖

上面安装后会出现两个文件夹,可以看到其中一个是text-generation-webui 名称文件夹,我们点击cmd_windows.bat打开cmd命令行

最低0.47元/天 解锁文章
Citizen_ZB
关注
Deepseek模型服务器部署，本地电脑远程访问（100%可行）
xiangerersheng的博客
02-14 1847
大家好，最近Deepseek可谓是火出圈在国内外，其依靠低成本，高性能可以比肩Openai的chatgpt。但是，由于其过于火爆，因此官网访问时经常会显示【服务器繁忙】，通过自己部署大模型，我们就不必受此困扰了。大模型的部署要求一般较高，通常的电脑配置难以带动性能较高的模型，而如果我们有一台配置较高的服务器，那么就可以在服务器上部署模型，然后本地电脑访问即可，接下来，我们就以Deepseek为例，来教大家如何做。
快速搭建能远程访问的Web页面，实现ChatGPT聊天机器人
weixin_43014359的博客
08-18 2245
streamlit是比较热门的Web应用程序框架，基于Python，优势是只要几行代码就可以创建一个交互式、可视化的web仪表板。通过接入OpenAI的API，快速搭建基于ChatGPT聊天页面，实现对话的方式进行交互,将streamlit和cpolar搭配使用，就可以快速搭建一个能够远程访问的ChatGPT聊天页面,下面通过windows环境简单部署一个接入OpenAI的API的聊天界面,并结合cpolar实现远程访问。
自建类ChatGPT服务：本地化部署与远程访问教程
猫头虎技术团队：授渔优于赠鱼，兴趣引领智慧，探索之乐尤显珍贵。商务合作+：Libin9iOak ，万粉变现+：CSDNWF，猫头虎承诺每年免费为100名C站创作者做账号流量诊断服务！全网搜：猫头虎技术团队，点击文章底部名片或直接私信我一切皆可谈，快找虎哥！
07-30 521
工作以后常常容易感到疲于奔命，即使在周末也没有得到高质量的休息。打工人/学生党如何过周末？你有哪些延长周末和下班时间的好方法吗？你可以选择从以下几个方向谈谈你的想法和观点。
一篇文章教你使用Docker本地化部署Chatgpt（非api，速度非常快！！！）及裸连GPT的方式（告别镜像GPT）
立志做一个高产且细节博主
08-21 3万+
第一种方法：使用Docker本地化部署 第二种方法：不部署项目，直接连接
chatgpt体验
热门推荐
遇见的博客
03-31 8万+
亏我抓耳挠腮半天写不出来，怀着不信，以及对真理的渴望，让我们用实践来检验真理吧，ctrl+c，打开浏览器开发者工具，ctrl+v，回车，完事。1、相信很多小伙伴们面试或者工作中会遇到数组扁平化这一问题，如今正是智能大火的时候，何不让我们试试水呢，所以让我们的智能用js帮我们写一个数组扁平化吧。3、惊掉下巴，既在意料之中，又在意料之外，它给的代码成功打印出了数组扁平化后的结果。4、张口就对啊，连命名都给想好了，要一个新数组，真给一个 newArr。5、啊这，貌似不好笑啊，但是它这算是自圆其说吗，哈哈。
ChatGPT之搭建API代理服务
CoderJia的学习之路
02-04 2999
一行Docker命令部署的 OpenAI/GPT API代理，支持SSE流式返回、腾讯云函数。这个项目可以自行搭建OpenAI API代理服务器工具，该项目是代理的服务器端，不是客户端。需要部署到可以联通 openai api 的网络环境后访问。
你必须值得尝试的20个GPT-4o提示词：轻松化解职场大小事
猫头虎技术团队：授渔优于赠鱼，兴趣引领智慧，探索之乐尤显珍贵。商务合作+：Libin9iOak ，万粉变现+：CSDNWF，猫头虎承诺每年免费为100名C站创作者做账号流量诊断服务！全网搜：猫头虎技术团队，点击文章底部名片或直接私信我一切皆可谈，快找虎哥！
07-30 352
以上 20 个 GPT-4o 提示可以提高你在编码、内容写作、营销、社交媒体等各种日常任务中的效率和生产力。不要错过这些实用的提示，赶紧尝试一下吧！📈🚀🔗关注我，获取更多实用技巧！扫描下方二维码加入我们的社群，第一时间获取最新的AI动态和实用工具推荐！👇👉更多信息：有任何疑问或者需要进一步探讨的内容，欢迎点击下方文末名片获取更多信息。我是猫头虎博主，期待与您的交流！🦉💬🚀技术栈推荐💡联系与版权声明📩联系方式微信: Libin9iOak公众号: 猫头虎技术团队⚠️版权声明。
本地Docker部署GPT4free并实现无公网IP远程访问
m0_74195626的博客
05-23 1539
本篇文章介绍如何在本地部署开源GPT4free，并且结合Cpolar内网穿透工具实现公网远程访问本地AI聊天服务。54.8k Star，国外一位大神xtekky最近开源了一个名叫GPT4free的项目，可以让我们免费使用几十个主流大模型。GPT4Free是一个由开发者Xtekky在GitHub上发布的开源项目，它可以免费地使用GPT-3.5、GPT-4、llama、gemini-pro、bard、claude等多种大模型。截止到当前已经有56.9k star，可见其受欢迎程度。
chatgpt本地部署
最新发布
qq_43556680的博客
01-18 1691
中小型公司的自动化流水线相关，搭建tapd+jenkins+gitlab+sonarqube+docker+jmeter+ansible这一套流水线的东西。期望的样子就是，从代码提交到测试、扫描、构建、部署等一系列操作都是自动化的.
chatgpt能做本地化部署，训练私有化学科领域数据吗？-----模型只在工具之上，想法只在算力范围之内
weixin_43636034的博客
04-24 4277
总结一句话3090显卡可以部署可以运用，但很难训练。首先介绍一下秋葉aaaki大神的本地化部署的工具，我的配置是一块是3090，目前12G显存.bat，如果配置不够好，可以尝试下面12G以下我尝试8G与12G的横向比较，对于客观问题，主要以8G为主，主观问题还是看看12G给我的看法，客观问题8G这里还加了一点主观评价，我觉得很好玩，这也可能是我把旁边Temperature机器感情拉大的缘故，不会太教科书。你知道更新统鱼鳞山组是什么吗，如果知道请阐述一下。
分享几个直接访问的GPT项目，ChatGPT智能最佳实践
u014683833的博客
04-13 2504
自美国时间12月2日上线以来，美国硅谷的初创公司OpenAI推出的ChatGPT，已经拥有超过一百万的用户，受到热烈的讨论。它既能完成包括写代码，修bug（代码改错），翻译文献，写小说，写商业文案，创作菜谱，做作业，评价作业等一系列常见文字输出型任务，而且在和用户对话时，能记住对话的上下文，反应非常逼真。尽管业内人士认为，ChatGPT仍存在数据训练集不够新、全等问题，但在人类制造人工智能，终点将在哪里结束？人类与会思考的机器之间的关系，将会如何发展？这些问题，我们无法停止思考。
本地部署 text-generation-webui
engchina的专栏
12-27 4911
本地部署 text-generation-webui
天工AI：拯救职场的智能PPT制作神器！工作效率飙升！天工AI让你轻松搞定PPT
猫头虎技术团队：授渔优于赠鱼，兴趣引领智慧，探索之乐尤显珍贵。商务合作+：Libin9iOak ，万粉变现+：CSDNWF，猫头虎承诺每年免费为100名C站创作者做账号流量诊断服务！全网搜：猫头虎技术团队，点击文章底部名片或直接私信我一切皆可谈，快找虎哥！
08-04 2089
天工AI智能PPT制作助手是职场人士不可或缺的利器。它不仅能够高效地生成专业的PPT，还能通过智能化的功能提升工作效率，解决职场中的紧急任务。希望大家能通过这款工具在工作中更加游刃有余！👉更多信息：有任何疑问或者需要进一步探讨的内容，欢迎点击下方文末名片获取更多信息。我是猫头虎博主，期待与您的交流！🦉💬🚀技术栈推荐💡联系与版权声明📩联系方式微信: Libin9iOak公众号: 猫头虎技术团队⚠️版权声明本文为原创文章，版权归作者所有。未经许可，禁止转载。更多内容请访问猫头虎的博客首页。点击。
GPT大模型不再遥不可及：本地化部署让每个人都能拥有
ytt0523_com的博客
05-15 1771
RWKV是一个开源且允许商用的大语言模型，灵活性很高且极具发展潜力。这个工具旨在降低大语言模型的使用门槛，做到人人可用，工具提供了全自动化的依赖和模型管理，你只需要直接点击运行，跟随引导，即可完成本地大语言模型的部署，工具本身体积极小，只需要一个exe即可完成一键部署。此外，本工具提供了与OpenAI API完全兼容的接口，这意味着你可以把任意ChatGPT客户端用作RWKV的客户端，实现能力拓展，而不局限于聊天。
利用Cloudflare搭建ChatGPT API 代理服务器 傻瓜教程
maxage的博客
06-03 1万+
利用Cloudflare的worker来自建ChatGPT的API服务器，实现免费搭建，零成本。
【ChatGPT】如何修复access denied you do not have access to chat.openai.com
wzk4869的博客
04-28 1万+
【ChatGPT】如何修复access denied you do not have access to chat.openai.com
windows11 本地化部署ChatGLM2-6B 安装笔记
weixin_42118737的博客
04-29 1468
详细记录了windows11 安装本地化部署ChatGLM2-6B的全过程
如何本地化部署ChatGPT
weixin_35753291的博客
02-16 6625
要本地化部署ChatGPT，您需要遵循以下步骤： 1.获取源代码和模型权重：从OpenAI获取ChatGPT的源代码和模型权重。您需要一个OpenAI帐户和API密钥来完成此步骤。 2.安装依赖项：ChatGPT需要PyTorch和其他Python依赖项。确保在本地安装了这些依赖项，并设置了相应的环境变量。 3.创建虚拟环境：创建一个虚拟环境，以便ChatGPT可以在其中运行，并确保安装了所需的依...
chatgpt平替，清华chatglm本地化部署教程（aigc大模型风口，校招找工作必备），包含weiui部署，api部署，对话框部署
xuxu96
04-02 1万+
chatglm模型本地化三种方式部署
chatgpt4本地部署
01-11
### 部署 ChatGPT4 的本地环境设置 为了在本地环境中部署 ChatGPT4，需先确保拥有运行中的 API 版本，并配置插件接口指向该本地服务[^2]。具体而言，在安装未验证的插件前，应确认本地开发环境已准备好支持所需的服务。 #### 安装依赖项和服务准备 首先，要保证计算机上已经安装了必要的软件包和工具链来构建和支持模型运行所需的容器化应用。对于某些操作系统来说，这可能涉及到特定版本Docker引擎的安装过程[^3]。例如，在Fedora系统中，则需要通过`dnf`命令启用额外资源库并更新管理器核心组件以获取最新版Docker CE： ```bash sudo dnf -y install dnf-plugins-core ``` 接着按照官方文档指示完成整个Docker平台搭建工作流[^4]。 #### 获取ChatGPT4镜像或源码 由于直接访问官方发布的预训练权重文件受到严格控制，因此建议寻找开源社区维护者分享的相关实现方案或者自行训练微调后的替代品作为起点。如果能够合法获得授权使用的二进制分发包，则可以直接下载解压至指定目录下；否则考虑克隆GitHub仓库里的项目副本进行编译打包操作。 #### 启动API服务器实例 根据所选路径不同（即采用现成docker镜像还是自定义build），启动方式也会有所区别。通常情况下会编写一个简单的Compose脚本来简化多进程协调任务，比如下面这个例子展示了如何利用YAML语法描述web框架及其关联数据库之间的关系： ```yaml version: '3' services: app: image: my-chatgpt4-image:latest ports: - "8000:80" environment: DATABASE_URL: postgres://user:password@db:5432/chatgpt4_db db: image: postgres:alpine volumes: - ./data:/var/lib/postgresql/data ``` 保存上述内容到名为`docker-compose.yml`的纯文本文件里之后，只需执行一条指令即可让所有部件协同运作起来： ```bash docker-compose up -d ``` 此时应该可以在浏览器地址栏输入类似`http://localhost:8000/docs#/default/get_root_get_`这样的URL链接查看Swagger UI界面下的交互式API文档说明页面了。 #### 连接前端客户端与后端逻辑层 最后一步就是把之前提到过的聊天机器人UI部分同刚才建立好的RESTful风格Web Service对接起来了。假设目标是集成进现有的即时通讯类应用程序内核当中去的话，那么就参照其扩展机制加载远程模块的方式来进行适配改造吧！
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值