自主部署本地大模型实战教程

1. 现有大模型产品使用感受     

        在开始教你搭建属于自己的本地大模型之前，先问你几个问题，是否和我有同样的感受？

1. 是不是感觉使用某些问答工具很不方便，注册还麻烦，而且最近更是经常遇到一会卡住一会崩溃的现象？

2.是不是觉得用某些问答工具不称心，而且还担心自己的数据被这些公司收集走拿去训练，造成隐私的泄露？

3.是不是觉得用某些问答工具提供的产品token很贵，你内心其实是很拒绝的？

        如果你也有和我类似的感受，那么大概率这篇文章应该可以解决你的这些困扰，我们将手把手教你如何搭建属于自己本地的chatgpt！而且不管有没有计算机背景的同学都可以操作，主打一个全民自主搭建。其实很多文字工作者如果用了chatgpt，应该会很上头，可以帮你解决无聊重复的80%的工作，让你安安静静琢磨和突破剩下的20%内容。

2. 本地版本大模型问答系统初览

 图1. 基于ollama实现的本地大模型问答系统

        图1展示的是我们本地部署的chat版本，模型可以任意选择，几乎支持开源的各类LLM大模型。从界面、使用体验等维度，是不是觉得和chatgpt一模一样，而且特别好用，本地资源足够，推理的速度很不错。

3. 手把手教你搭建本地chatgpt

         接下来会以macOS系统为例讲解。

3.1 下载并安装ollama

图2. ollama首页及不同版本下载界面      

        下载完毕后，就直接安装到底，看到图3最右侧的ollama标识，说明你已经安装完成了。

图3. ollama安装状态

3.2 选择大模型版本并运行
        回到ollama官网，找到模型列表入口，如图4所示，ollama提供了非常多的开源大模型可供使用，假如你本地的资源足够，可以直接用上目前开源领域效果最佳的llama 3.1版本，各项指标与gpt4、gpt4-o、claude 3.5相当或者超越。      

图4. ollama提供的大模型文件

        为了演示方便，我们这边使用qwen的0.5B版本，大小为300-400MB左右，如图5所示，复制红框所示的运行命令，打开terminal执行命令，看到success，说明已经安装成功，这个时候已经可以直接对话了。

        我问了一个问题，翻译的还不错，哈哈。

Q：请把以下这段话翻译成英文：你也可以打造属于自己的聊天工具。

A：You can also create your own chat tool.

图5. 运行指定的大模型并对话实验

3.3 安装webUI
        虽然已经可以对话了，但是没有web界面，没法操作很多其他的功能，比如上传文件、语音、图片等，总感觉不方便，对吧。接下来我们开始安装页面端，也就是拥有文章一开始图1的界面使用体验。

        首先到docker官网下载对应版本安装docker，如图6所示。Docker是一组平台即服务（PaaS）的产品。它基于操作系统层级的虚拟化技术，将软件与其依赖项打包为容器。

图6. docker安装

        接下来，到github下载Open WebUI，复制对应的镜像启动命令，这里会有一些不同的选项，需要根据你自己的实际情况下载，因为我的ollama部署在本地电脑，所以选择第一条指令，如图7所示。

图7. Open WebUI安装

        执行完刚才的docker run指令后，回到docker管理界面，就可以看到红框部分的容器信息。

图8. 执行docker指令

     在浏览器中输入http://localhost:3000/auth/， 就出现了注册和登录信息，注册一下账号。登录之后就可以使用基于webUI的自有chatgpt进行对话啦，还能上传文件进行处理。

图9. webUI搭建完成选择相应llm模型

图10. 本地大模型问答系统体验

        以上就是本地搭建属于你自己的chatgpt教程了。对了，首次注册的账号，会自己成为管理员账号，这个注意一下。也可以自行去做更多的定制。