使用ollama，MacOS也能轻松玩转大语言模型

于 2024-07-13 21:28:38 发布
阅读量682 收藏 16
点赞数 10
分类专栏： 人工智能 文章标签： macos 语言模型 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010291330/article/details/140406826
版权

我很少讲如何在苹果电脑上运行AI软件，因为M系列的GPU用起来确实有点难受。

但是如果你仅仅是想运行大语言模型，目前其实已经有比较好的方案了。

只要安装一个软件，一行命令，就能在本地流畅运行LLM。

操作非常简单，对话也很流畅。

今天要用到软件叫Ollama。

软件图标是一个只可爱的羊驼，从这个造型就知道它肯定支持Llama。

软件介绍很简单，就是说在本地启动并运行大语言模型。

支持的模型有Llama2,Code Llama 和其他模型，可以自定义创建自己的模型。

支持的系统有macos，Linux, Windows。

其实我们之前介绍过的lmstudio也挺不错，但是它只支持M系列苹果电脑。

无法在早期（<=2020年InterCPU）的苹果电脑上运行。

而我刚好搞了一台2019年顶配的Imac。

这个时候ollama就非常有用了。

略微吐槽下！

这配置，如果自己组装的话4K绝对能搞定了吧？

苹果一上手，就超20K了，现在买二手也得10k…

下面就用这台电脑做个演示，在上面跑跑谷歌Gemma和阿里Qwen。

另外，

最低0.47元/天 解锁文章
产品大道
关注
  • 10
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
ollama 本地部署大模型
03-17 2万+
根据 ChatGPT 的使用经验，多数人都已知晓系统提示词的重要性。好的系统提示词能有效地将大模型定制成自己需要的状态。在 Ollama 中，有多种方法可以自定义系统提示词。首先，不少 Ollama 前端已提供系统提示词的配置入口，推荐直接利用其功能。此外，这些前端在底层往往是通过API"content": "以海盗的口吻简单作答。},"content": "天空为什么是蓝色的？],}'其中role为system的消息即为系统提示词。
大模型实战—Ollama 本地部署大模型
2401_84052244的博客
04-25 567
根据 ChatGPT 的使用经验，多数人都已知晓系统提示词的重要性。好的系统提示词能有效地将大模型定制成自己需要的状态。在 Ollama 中，有多种方法可以自定义系统提示词。首先，不少 Ollama 前端已提供系统提示词的配置入口，推荐直接利用其功能。此外，这些前端在底层往往是通过APIcurl -d '{"content": "以海盗的口吻简单作答。},"content": "天空为什么是蓝色的？],}'其中role为system的消息即为系统提示词。
用 Ollama 轻松玩转本地大模型
南七小僧的学海无涯
04-29 1174
根据 ChatGPT 的使用经验，多数人都已知晓系统提示词的重要性。好的系统提示词能有效地将大模型定制成自己需要的状态。在 Ollama 中，有多种方法可以自定义系统提示词。首先，不少 Ollama 前端已提供系统提示词的配置入口，推荐直接利用其功能。此外，这些前端在底层往往是通过API"content": "以海盗的口吻简单作答。},"content": "天空为什么是蓝色的？],}'其中role为system的消息即为系统提示词。
ollama 开源大语言模型平台
汽车软件开发
04-18 1772
环境准备：首先，需要提前安装Ollama框架。这是使用Ollama进行模型开发的基础条件38。下载模型：接着，需要下载需要自定义的大语言模型。这一步骤是必要的，因为只有拥有了模型的本地副本，才能对其进行进一步的自定义操作38。运行模型：确保能够成功运行已下载的大语言模型。这意味着需要具备一定的技术能力或知识，以确保模型能够在本地环境中正常运行38。准备system prompt：为了与模型进行交互，需要提前准备一段system prompt。这个提示将指导模型如何响应用户的请求或指令38。
MacOS使用ollama部署codellama+openui以及llama.cpp部署
weixin_37841024的博客
04-24 2196
先来强调下对于硬件的要求：基本的配置只需是Intel i5处理器 + 16G内存（内存8G也ok，但是能慢一些，但你CPU起码de得是i5的，相信这个配置对于大多数人来说还是可以满足的），你就能够顺利运行多种开源的大模型，例如33亿参数、7亿参数的模型，但是70b那种跑不起来。相信通过上面介绍的内容，为广大开发者和研究者在硬件资源有限的情况下，降低了AI使用的门槛，可以使更多人接触到大模型，而不只是单纯使用一些别人的AI产品。如果你的显卡性能更强，那么在大模型训练和微调方面的能力也会对应增强。
一文彻底整明白，基于Ollama工具的LLM大语言模型Web可视化对话机器人部署指南
python12222_的博客
05-28 799
Ollama。
Ollama本地部署，离线使用大模型
05-01 462
Ollama是什么Ollama 是一个本地大模型运行框架，它允许用户在自己的计算机上运行和使用大型语言模型（LLM）。它的设计目标是简化大模型的运行过程，使得非专业的普通用户也能够轻松地玩转这些通常需要高端硬件和复杂设置才能运行的模型。目前 Ollama 已经支持了 windows、linux 和 macos。实操第一步，来到官方网站，地址是：https://ollama.com/download...
Windows 玩转大模型第一天：大模型本地部署，调用大模型API可直接工程化应用（全部代码和详细部署流程）
qq_34717531的博客
07-05 319
Ollama 是一个开源框架，专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计。以下是其主要特点和功能概述：1. 简化部署：Ollama 目标在于简化在 Docker 容器中部署大型语言模型的过程，使得非专业用户也能方便地管理和运行这些复杂的模型。2.轻量级与可扩展：作为轻量级框架，Ollama 保持了较小的资源占用，同时具备良好的可扩展性，允许用户根据需要调整配置以适应不同规模的项目和硬件条件。
ollama介绍
顺其自然~专栏
03-13 5173
例如，至少需要 8GB 的内存/显存来运行 7B 模型，至少需要 16GB 来运行 13B 模型，至少需要 32GB 来运行 34B 的模型。：Ollama 支持多种大型语言模型，如 Llama 2、Code Llama、Mistral、Gemma 等，并允许用户根据特定需求定制和创建自己的模型。：它将模型权重、配置和数据捆绑到一个包中，称为 Modelfile，这有助于优化设置和配置细节，包括 GPU 使用情况。：安装完成后，用户可以通过简单的命令行操作启动和运行大型语言模型。
使用GGML库在iOS和MacOS上离线使用llama和其他大型语言模型.zip
03-06
在iOS和MacOS平台上，离线使用大型语言模型如LLAMA变得越来越重要，尤其是在需要高效、隐私保护且网络连接不可靠的场景下。GGML库是实现这一目标的关键工具，它允许开发者在本地设备上运行复杂的自然语言处理任务，...
大模型部署-在本地计算机上推理LLaMA大语言模型-支持Windows+Linux+Mac-优质项目实战
06-20
大模型部署-在本地计算机上推理LLaMA大语言模型-支持Windows+Linux+Mac-优质项目实战大模型部署-在本地计算机上推理LLaMA大语言模型-支持Windows+Linux+Mac-优质项目实战大模型部署-在本地计算机上推理LLaMA大语言...
基于本地计算机上推理LLaMA大语言模型-支持Windows+Linux+Mac项目源码+项目说明.zip
06-08
跨平台： Linux Mac Windows 内存需要 7B => ~4 GB 13B => ~8 GB 30B => ~16 GB 65B => ~32 GB 硬盘需要 ...Currently 7B and 13B models are available via alpaca.cpp ...Alpaca comes fully quantized (compressed), ...
macOS SwiftUI Scenekit 飞机模型项目完整源码
12-08
在本项目中，我们探索了如何在macOS平台上利用SwiftUI和SceneKit框架构建一个3D飞机模型的应用程序。SwiftUI是Apple推出的一种现代化的用户界面构建工具，它提供了声明式编程方式，使得UI设计更加直观高效。而...
swift中NSTableView的基本使用_IOS和MacOS版
05-26
基于IOS和macOS开发，使用swift 5，包含一些NSTableView的基本使用，注释详细，掌握这一篇内容即可对付大部分TableView的使用情景。 适用人群：刚接触NSTableVIew和swift的小白。 能学到什么： 1.tableView每一个...
RightFont 8.7.0 Mac专业字体管理工具
macw_q的博客
07-09 329
RightFont 适用于 macOS 的终极字体管理器应用程序，提供无缝的字体管理体验。它结合了速度、直观的功能和专业的功能，使用户能够轻松预览、安装、组织和共享字体。
【深度学习基础】MAC pycharm 专业版安装与激活
Small__明的博客
07-09 512
本人是采用的第二种，大家可以参考。选择自己的版本安装即可。祝大家都可以顺利激活！
模型(卷积、fc、attention)计算量 MAC/FLOPs 的手动统计方法
kebijuelun的博客
07-09 1129
理解神经网络中的 MAC（乘累加操作）和 FLOPs（浮点运算）对于优化网络性能和效率至关重要。通过手动计算这些指标，可以更深入地了解网络结构的计算复杂性和资源需求。这不仅能帮助设计高效的模型，还能在训练和推理阶段节省时间和资源。本文将通过实例演示如何计算**全连接层(fc)**、**卷积层(conv)** 以及 **自注意力模块(self-attention)** 的 FLOPs 和 MACs，并探讨其对资源效率、内存效率、能耗和模型优化的影响。
uniapp mac m1 arm芯片编译问题
最新发布
z157794218的专栏
07-10 1096
遇到Macarm芯片（m1 m2）的uniapp异常
请编写在macOS端本地部署预训练大型语言模型的代码
06-09
好的，以下是在macOS端本地部署预训练大型语言模型的代码。 首先，我们需要下载预训练模型并安装必要的库，括Transformers和PyTorch： ```python !pip install transformers !pip install torch ``` 接下来，我们导入必要的库： ```python from transformers import AutoTokenizer, AutoModelForCausalLM import torch ``` 然后，我们加载预训练模型和分词器： ```python # 加载预训练模型和分词器 model_name = "gpt2" # 预训练模型名称 tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained(model_name) ``` 接下来，我们输入一个文本序列，并将其编码为模型可以处理的格式： ```python # 编码文本序列 text = "Hello, how are you?" inputs = tokenizer(text, return_tensors="pt") ``` 然后，我们使用模型生成文本： ```python # 使用模型生成文本 max_length = 50 # 生成文本的最大长度 outputs = model.generate(inputs["input_ids"], max_length=max_length) generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True) print(generated_text) ``` 最后，我们释放模型的内存： ```python # 释放模型的内存 del model torch.cuda.empty_cache() ``` 这就是在macOS端本地部署预训练大型语言模型的代码。当然，具体实现还需要根据具体的应用场景进行调整。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

产品大道

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值