Biu懂AI：本地部署大模型

WPG大大通

于 2025-04-16 21:40:04 发布

阅读量1.1k

点赞数 14

分类专栏： Synapics产线文章标签：人工智能大大通经验分享笔记 ai

本文链接：https://blog.csdn.net/wpgddt/article/details/147287289

版权

Synapics产线专栏收录该内容

11 篇文章

订阅专栏

Bui~ 大模型卷啊卷，越来越多的大模型超越ChatGPT，以更少的资源做更强的功能。国产大模型正在重写规则😏。虽然各大厂家公开的免费AI对话窗口，但是有些情况需要自己部署大模型，例如涉及到数据隐私与安全、响应速度、没有网络的环境等。同时，本地部署的大模型接上边缘设备的话（例如我们synaptics的Astra平台）就能形成流行的AI组织架构——边缘云计算框架，让大模型也能为边缘设备服务。那如何让边缘设备借用局域网的本地大模型去做一些AI处理呢？别着急，书分两章，这一篇先教大家如何使用Ollama在本地部署大模型。

Ollama出现的目的就是让大语言模型的部署和使用更加便捷，用户无需复杂的云计算基础设施或专业的技术知识，就能在本地设备上快速搭建和运行大模型。特点是简单易用、

模型丰富、快速部署。简单来说就是它收集了各大主流大模型，用户无需进行复杂的环境配置和依赖安装。它会自动处理模型的下载、缓存和管理，大大节省了时间和精力。

第一步：下载安装Ollama软件

这里是Ollama的主页，选择自己使用的平台下载对应的安装软件安装。软件的相关文档可以在ollama/docs at main · ollama/ollama · GitHub 中查看。推荐机器有2g内存以上的gpu，当然越好的gpu推理速度就越快。

第二步：运行Ollama

打开命令行窗口，像windows的打开cmd或powershell，在命令行中输入ollama -v查看是否有安装成功，显示有版本号就表示安装成功，再输入ollama serve启动服务。然后回到Ollama的主页，去找想要部署的模型。参数量越大就越准确，但需要的存储空间也就越大，选择好之后，复制指令到新的一个命令行窗口中命令行运行。

第一次运行会下载模型文件，根据模型参数量决定模型文件大小，下载完成之后会直接出现对话界面，就可以开始对话了

到了这一步就已经部署完大模型了，但是这个界面对使用来说不太方便，所以要引入另外一个架构WebUI，以便可以通过浏览器访问和设置大模型。

第三步（可选，为了更方便的使用）：部署open WebUI：

使用anaconda 创建虚拟环境，这一步也可以不要，有一个python环境就好，但是用这个软件创建环境，可以更好地管理python环境，不容易出错。anaconda的使用可以网上找anaconda的相关教程，这里不赘述。

创建一个环境

conda create -n open-webui python=3.11

激活环境

conda activate open-webui

安装open-webui

pip install open-webui

第四步（可选，依赖第三步）：使用open-webui：

确保前面三步都完成了，如果是前期做了环境部署的，后续从新开启只需要启动服务ollama serve，跑模型ollama run <模型名:参数两量>，如果不知道已经下载了哪些模型，可以用ollama list查看一下。然后开启python虚拟环境（如果有必要的话）conda activate open-webui，前面这些步骤都做完后，开启open-webui的服务open-webui serve，可能需要等待一会，直到出现下面信息就表示服务已开启完成。

这个时候，如果你是本机跑的服务，就可以在浏览器输入http://0.0.0.0:8080进入模型对话界面，随便创建个管理员账户密码进入。如果你是局域网里别的主机跑这个服务，也可以用那台主机的IP去访问这个对话界面。如我在10.10.10.10的主机上创建的服务，我的电脑是同一个局域网，我就可以在浏览器输入http:// 10.10.10.10:8080去访问。

接下来就是大家经常用到的界面了，不同的是这里的模型可以设置更多参数来满足自己的要求。