247.2k star! 超强大的私有化ChatGPT，支持图像识别/文生图/语音输入/文本朗读，个人电脑即可运行！试试吧

今天作者带大家实现一个普通配置电脑即可运行的私有化ChatGPT，支持以下功能：

1.界面体验与ChatGPT官方几乎一样。

2.支持多种开源模型，可以聊天、写代码、识别图片内容等。

3.支持文生图。

4.支持麦克风语音输入聊天。

5.支持自动朗读回答结果。

6.支持联网使用openai。

前5个功能拔掉网线也能正常使用。先看一下作者本地（16G内存无GPU）断网运行的聊天与图片识别效果：

文生图效果：

用到的开源项目(文末获取github地址)：

1.界面：open webui，8.1k star，界面漂亮，功能丰富，我们本次主要用它将其他各开源项目组合起来。

2.大模型：ollama，44.8k star，支持使用CPU运行多种开源大模型，部署超级简单。

3.文生图：stable diffusion，124k star，最强开源文生图项目。

4.语音输入：openai开源的whisper, 57.1k star，CPU可用，效果可与收费产品比肩。

5.文本朗读：windows系统提供的接口，离线免费使用，后面有介绍。

6.接入openai：GPT_API_free, 13.3k star，免费的openai API key。

下面只有前两步为必须执行的，后面步骤根据自己需求决定是否执行。

1.部署大模型

这里就不演示了，不会的可以看看我关于部署的文章，ollama支持多种优秀开源大模型，可根据需求多下载几种，按需使用，官方支持的模型：https://ollama.com/library

2.部署界面

open webui不仅是一个聊天界面，还是一个ollama的客户端，还有很多其他功能，感兴趣可以去github看官方文档。使用docker一键部署：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

安装完成之后，浏览器输入http://localhost:3000，选择模型就可以开始聊天了。可以到设置界面的General中设置各种模型参数，到这一步已经实现一个基本的私有化ChatGPT了。

3.图片识别

先使用ollama下载llava模型，聊天时选择llava，发送图片即可。以下是作者测试的图片识别效果，连后面有多排座位，有些座位是空的都能准确识别出来！

4.语音输入

如果想使用语音输入功能，部署好之后，将STT引擎改为whisper(Local)，在聊天输入框就可以点击麦克风图标输入语音了。

5.文生图

先本地部署stable diffusion(以下简称sd)

说明：sd需要GPU，但我看sd官方文档好像支持CPU，作者未验证。

接下来坑比较多，作者已解决，照做即可。

5.1 open-webui要调用sd的接口，因此sd要提供api，修改sd根目录中的webui.bat，增加以下代码

set COMMANDLINE_ARGS=--api

如图所示：

5.2 open-webui要调用sd的/sdapi/v1/options接口，但是这个接口报错，解决方案：sd根目录新建文件user.css，文件内容如下：

[id^="setting_"] > div[style*="position: absolute"] {`        `display: none !important;``}

5.3 双击webui.bat启动sd，进入open-webui的设置页面，按下图设置，注意：因为open-webui是在docker部署的，sd是在宿主机部署，open-webui调用sd接口相当于docker内部调用宿主机服务，所以在浏览器虽然用127.0.0.1:7860能访问sd，但是这里填写127.0.0.1是无法请求的，按图示内容填写，如果您的部署方式和作者不一样，请根据情况填写。

5.4 生成图片的按钮只在大模型回复的内容下面才会出现，并且会把回复的内容当成sd的prompt，因此想生成图片需要先选择一个模型，让模型把你想使用的promt回复给你，然后点击生成图片按钮，就可以生成了。

6.使用openai接口

感觉本地模型运行慢，有时候想用在线的OpenAI接口？没问题！可以参照这篇获取免费的API Key：13k star! 获取免费ChatGPT API Key的开源项目，亲测可用！然后按照下图配置。

配置后，模型选择列表中就会自动多出来几个openai模型，选择即可使用。

7.文本朗读功能

按下图设置即可开启朗读功能，聊天时收到完整响应后会自动朗读。

关于文本朗读的实现原理，前几天写了一篇免费使用TTS的文章：2.8k star! 用开源免费的edge-tts平替科大讯飞的语音合成服务，作者以为这个也应该是调用了某个在线的TTS服务，但是在console中看不到任何关于TTS的请求，后来查看源码才发现是用HTML5的Speech Synthesis API实现的，这个API可以调用Windows系统的TTS。以下是代码，可直接在浏览器的console中运行测试。

// 获取支持的声音列表speechSynthesis.getVoices()// 合成并播放语音const speak = new SpeechSynthesisUtterance("要播放的文字");// 选择用哪个声音speak.voice = speechSynthesis.getVoices()[0];// 执行这句就可以听到声音了``speechSynthesis.speak(speak);

以下是测试截图：

利用这个API可以实现免费、离线的TTS功能。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】