背景
随着行业内越来越多的AI产品落地,很多同学都对AI技术产生浓厚的兴趣,但苦于目前动作几十G上百G的大模型,并且手上的消费级电脑也无法满足各种模型部署运行要求,本文就是基于此背景,介绍如何使用Mac Book Pro本地搭建大模型的入门教程,希望能帮助到对AI有兴趣的同学。毕竟不管什么岗位,如果能自己搭个Demo进行AI相关的学习,也不失为一种AI入门方式。 纸上谈兵终觉浅,绝知此事要躬行,正好借着9月OpenAI最新发布的o1大模型,写一个本地模型部署指南,本人电脑是Mac Book Pro M3 18G机器搭建,M1、M2的机器也是可以的。
方案选择
首先解释一下什么是模型量化
- 模型量化是做什么的: 模型量化是将浮点数值转化为定点数值,同时尽可能减少计算精度损失的方法。
- 为什么要做模型量化: 模型量化既能减少资源消耗,也能提高运行速度,使大规模推理服务的性能提升。
- 对哪些数值做量化: 可以对模型参数(weight)、激活值(activation)或者梯度(gradient)做量化。
- 常见的量化精度有哪些: 通常可以将模型量化为 int4、int8 等整型数据格式。
目前部署大模型的方式,基本分为两种方案:
- 下载原始大模型,然后通过相应的模型量化脚本,将量化后的模型进行本地环境部署,此种方式,下载原始模型费时费力,量化后的模型也不见电脑能带的动,需要不断调整量化参数quantization types,对新人不太友好
- 通过Ollama大模型管理工具,一键式部署量化后的LLM模型,本文也是主要介绍此种部署方式,直接通过的Ollama拉取的llama3.1模型信息如下,通过Open WebUI部署运行非常轻松,开着IDE+几十个Chrome页面毫无压力
量化后的模型信息
运行效果
Llama3.1
Llama3.1是Meta公司在7月最新发布的LLM模型,分为三个版本8B、70B、405B,有兴趣的同学可以直接去官网了解。 llama.meta.com/
github.com/meta-llama/…
Ollama
Ollama是一个开源的大模型管理工具,它提供了丰富的功能,包括模型的训练、部署、监控等。 通过Ollama,你可以轻松地管理本地的大模型,提高模型的训练速度和部署效率。 此外,Ollama还支持多种机器学习框架,如TensorFlow、PyTorch等,使得你可以根据自己的需求选择合适的框架进行模型的训练 官网:ollama.com/
下载安装Ollama
下载安装后,在终端运行 ollama -v
能正常显示版本号即为安装成功
下载安装量化后的Llama3.1
确定Ollama已安装成功后,在终端运行如下代码,Ollama首次会将模型远程下载,并在下载完成后启动 ollama run llama3.1
下载过程还比较顺利,下载完成后,终端会启动大模型,可以直接在终端进行对话问答了,是不是很简单? 但在终端里面进行AI问答,看起来没那么方便,所以我们可以通过Docker+Open WebUI的方案来实现本地Web UI管理调试大模型
Docker
Docker Desktop 是 Docker 提供的一个方便的工具,适用于 Windows 和 macOS 平台。它包含了 Docker Engine、Docker CLI 客户端、Docker Compose、Kubernetes 和其他工具,使开发人员可以在本地计算机上使用 Docker 容器进行开发和测试。 官网:www.docker.com/products/do…
Open-WebUI
Open WebUI是一个可扩展、功能丰富、用户友好的自托管WebUI,旨在完全离线操作。 它支持各种LLM运行程序,包括Ollama和OpenAI兼容的API。 官网:www.openwebui.com/
具体特性可以查看 github:github.com/open-webui/… 当Docker安装完成后,可以通过命令在线安装open-webui,但安装之前,需要注意的是,最好在docker设置中配置镜像地址,否则下载速度非常感人,无法预计什么时候能下载成功
配置registry-mirrors
直接覆盖即可,我也没测试其中的镜像速度,如果自己有稳定的镜像地址,可以自行替换 { "builder": { "gc": { "defaultKeepStorage": "20GB", "enabled": true } }, "experimental": false, "registry-mirrors": [ "https://hub-mirror.c.163.com", "https://docker.m.daocloud.io", "https://ghcr.nju.edu.cn", "https://mirror.baidubce.com", "http://dockerhub.azk8s.cn", "https://mirror.ccs.tencentyun.com", "https://docker.mirrors.ustc.edu.cn", "https://docker.nju.edu.cn", "https://2h3po24q.mirror.aliyuncs.com" ] }
安装命令
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
在经过了漫长的等待后,是的,你没看错,用了镜像也不怎么快,没用镜像之前基本就是失败。。。
启动
- 安装完成后,即可在Docker中启动WebUI了,等待片刻后,浏览器输入http://localhost:3000/即可进入 ,如果需要提供给其他局域网中的小伙伴访问,可以找到自己的局域网IP地址,如 30.7.229.xx:3000/
- 首次进入的时候,需要注册账户,因为注册逻辑是在本地,只需要记住自己的账户密码即可,无需要验证码,首次注册的账号是管理员账号
- 进行后选择之前下载的Llama3.1模型后,即可开始模型的测试了
最后附几道测试题结果,目前看起来,Llama3.1的中文理解推理能力还是有待提升的
写在最后
AI作为后续的各行各业基础技术设施,其使用门槛会不断降低,各种配套框架、生态也会越加丰富。 本人作为一名互联网行业的产品经理(当然,之前也有10来年的Android+iOS+Java后端的开发经验),编写AI模型的本地搭建教程,也是希望通过对新手较为友好的方式,帮助更多对AI感兴趣的同学迈出学习AI技术第一步,只有去深入了解AI背后的运作原理与流程,才能发现AIGC过程中的更多机会。 目前业界比较令人振奋的AI落地场景乏善可陈,在部分用户场景中,其实用规则、算法就已经能很好的解决用户需求,反而用上AI后产生各种啼笑皆非的结果。 最后希望各行各业在AI的加持下,能帮助用户得到更好的使用体验,取得更好商业结果, MCGA~!
如何学习AI大模型?
作为一名热心肠的互联网老兵,我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】

一、全套AGI大模型学习路线
AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!
二、640套AI大模型报告合集
这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。
三、AI大模型经典PDF籍
随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。
四、100+套大模型面试题库
五、AI大模型商业化落地方案
作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。