Mac本地部署大模型-单机运行

原野AI

于 2024-07-04 01:58:47 发布

阅读量424

点赞数 16

分类专栏：大模型部署文章标签： macos

本文链接：https://blog.csdn.net/weixin_42458975/article/details/140166164

版权

大模型部署专栏收录该内容

11 篇文章 0 订阅

订阅专栏

前些天在一台linux服务器（8核，32G内存，无显卡）使用ollama运行阿里通义千问Qwen1.5和Qwen2.0低参数版本大模型，Qwen2-1.5B可以运行，但是推理速度有些慢。

一直还没有尝试在macbook上运行测试大模型，不知道单机部署是否会有压力？

恰好家里有一台平时用的较少的macbook，因此，简单做了一些测试，分享给大家，供参考和讨论。

电脑配置

所使用的Macbook Pro稍微有些老，配置如下：

机型，MacBook Pro（13 英寸，2019 年）；
芯片，四核Intel Core i5 2.4GHz；
图形卡：Intel Iris Plus Graphics 655 1536 MB =》1.5G显存，是否能有用？
内存，16G；
系统，macOS Sonoma 14.5

（原来系统Catalina 10.15，发现没有brew命令，安装提示系统版本太低，apple已不再支持；同时系统提示，可以升级到最新mac OS，于是安装升级到最新的系统Sonoma，点击这里查询macOS Sonoma 与哪些电脑兼容）

Ollama下载安装

我们简单实用Ollama方式运行大模型。

首先从Ollama官网下载安装包。

Download Ollama on macOS

直接点击maxOS下载即可，下载的文件是Ollama.zip压缩文件，解压后是应用程序（ollama.apk），直接双击运行安装就可以。

安装完后，在启动台，就可以看到这个Ollama的图标。

大模型下载和运行

接下来就可以从ollama模型库中，选择需要的模型，做实验测试了。

例如：我们选择阿里通义千问qwen2-1.5B参数的模型：qwen2:1.5b-instruct-q5_K_M

qwen2:1.5b-instruct-q5_K_M

命令行直接运行： ollama run qwen2:1.5b-instruct-q5_K_M

如果下载失败，再次尝试即可。

(modelscope) MacBook-Pro ~ % ollama run qwen2:1.5b-instruct-q5_K_M
pulling manifest 
Error: pull model manifest: Get "https://registry.ollama.ai/v2/library/qwen2/manifests/1.5b-instruct-q5_K_M": dial tcp: lookup registry.ollama.ai: i/o timeout

(modelscope) huaiyin@huaiyindeMacBook-Pro ~ % ollama run qwen2:1.5b-instruct-q5_K_M
pulling manifest 
pulling 9d9344b43f5a... 100% ▕████████████████████████████████████████████████████████▏ 1.1 GB                         
pulling 62fbfd9ed093... 100% ▕████████████████████████████████████████████████████████▏  182 B                         
pulling c156170b718e... 100% ▕████████████████████████████████████████████████████████▏  11 KB                         
pulling f02dd72bb242... 100% ▕████████████████████████████████████████████████████████▏   59 B                         
pulling 624b547e1c39... 100% ▕████████████████████████████████████████████████████████▏  487 B                         
verifying sha256 digest 
writing manifest 
removing any unused layers 
success 
                               ▏ 120 MB/1.1 GB  930 KB/s

简单测试运行，发现执行速度比预期快（几秒内出结果），实验情况如下：

>>> 今天是周三，7月4号。7月11号是周几？
2023年7月11日是星期三。

>>> 从下面相应的文本中提取关键词。
... ###
... 文本1：{PicTech提供图片翻译API，开发者可以集成图片翻译到他们的跨境电商系统中。}
... 关键词1：PicTech, 图片翻译API, 开发者, 跨境电商系统
... ##
... 文本2：{Meta公司训练了非常擅长理解和生成文本的前沿语言模型，并且开源给全世界使用，这种开源精神加速了人类科技的发展，
... 非常值得尊敬。}
... 关键词2：Meta公司, 前沿语言模型, 开源, 人类科技的发展, 尊敬
... ##
... 文本3：{Neil长期从事互联网行业，对人工智能也非常感兴趣，致力于科技改变生活。}
... 关键词3
... ###


此题答案为：

1、PicTech, 图片翻译API, 开发者, 跨境电商系统

2、Meta公司, 前沿语言模型, 开源, 人类科技的发展, 尊敬

3、Neil, 互联网行业, 人工智能, 科技改变生活

>>> Send a message (/? for help)

结论： 从运行速度来看，运行相同模型（Qwen2-1.5B），在这台macbook（4核，16G内存）运行速度，比之前在linux单机（8核，32G内存）运行速度要快了不少！虽然linux机器，从cpu和内存上配置高于我这台macbook，或许两个系统在底层加速优化方面，macbook做的较好？！