重磅！苹果官方发布大模型框架：一个可以充分利用苹果统一内存的新的大模型框架MLX，你的MacBook可以一键运行LLaMA了

最新推荐文章于 2024-07-31 14:59:50 发布
最新推荐文章于 2024-07-31 14:59:50 发布
阅读量1.8k 收藏 25
点赞数 22
分类专栏： 大模型 文章标签： llama 人工智能 大模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/df19900725/article/details/134842821
版权

本文来自DataLearnerAI官方网站：重磅！苹果官方发布大模型框架：一个可以充分利用苹果统一内存的新的大模型框架MLX，你的MacBook可以一键运行LLaMA了 | 数据学习者官方网站(Datalearner)icon-default.png?t=N7T8https://www.datalearner.com/blog/1051701871117729

苹果刚刚发布了一个全新的机器学习矿机MLX，这是一个类似NumPy数组的框架，目的是可以在苹果的芯片上更加高效地运行各种机器学习模型，当然最主要的目的是大模型。

最低0.47元/天 解锁文章
数据学习（Datalearner）
关注
专栏目录
苹果大模型系列之 MLX 有多快？对 10 个 Apple Silicon 芯片和 3 个 CUDA GPU 进行全面基准测试,MLX、PyTorch MPS 和 CUDA GPU 上主要操作和层的基
iCloudEnd的博客
06-28 91
自首次发布以来不到两个月，Apple 机器学习研究团队的最新成果 MLX 已在机器学习社区取得了重大进展。新框架迅速获得关注，这一点非常了不起，GitHub上已有超过 12,000 个星标， Hugging Face上的社区成员数量也不断增加，目前已超过 500 人。在之前的文章中，我们演示了 MLX 在训练简单的图形卷积网络 (GCN) 时的表现，并将其与包括CPU、PyTorch 的MPS和CUDA GPU在内的各种设备进行了基准测试。结果令人振奋，并展示了 MLX 在高效运行模型方面的潜力。
苹果大模型系列之 使用 MLX 在 macOS 上通过 LLM 微调构建自己的 LLM，在 Mac M2 上，训练过程大约需要 36 分钟（教程含详细步骤与代码）
iCloudEnd的博客
06-28 304
在我之前的系列文章LlamaIndex中，我讨论了使用、LangChain等工具构建 RAG 应用程序，GPT4All, Ollama以利用 LLM 满足特定用例。在这篇文章中，我将探讨另一种称为 LLM 微调的方法。我使用名为的工具在 macOS 上对 Meta 的 LLaMA-3 和 Mistral LLM 进行了微调MLX，该工具是专为 Apple 芯片上的机器学习研究量身定制的数组框架。这种微调是使用一种名为的技术完成的Low Rank Adapters(LoRA)。
MacBook M1 32G配置大语言模型
auto_star的博客
07-08 1098
🍀 For MacOS with Arm-based M1/2 Chips，部署大语言模型，跳坑有心得。ImportError: cannot import name '_itree' from partially initialized module 'itree' mach-o file, but is an incompatible architecture (have (x86_64), need (arm64e))
仅需三步，在 Mac 电脑部署本地大模型，打造私人 ChatGPT
最新发布
m0_63171455的博客
07-31 1539
型号： MacBook Pro芯片：Apple M1（M1/M2/M3 任何芯片的都可以，越高端的性能越好）内存： 16 G（内存越大越好，8G 也能体验，但是只能用小模型）硬盘： 256 G（越大越好）
Mac本地部署大模型体验AIGC能力
m0_63171455的博客
07-14 818
仅基于Transformer解码器的大模型（图中的蓝色部分），例如，OpenAI的GPT系列、Meta的LLaMa、Google的PaLM等；仅基于Transformer编码器的大模型（图中的粉丝部分），例如，Google的BERT、Meta的RoBERTa等；同时基于Transformer编码器和解码器的大模型（图中的绿色部分），例如，Meta的BART、Google的T5、清华大学的GLM/ChatGLM等。
苹果最新的M3系列芯片对于大模型的使用来说未来价值如何？结果可能不太好！M3芯片与A100算力对比！
DataLearnerAI
10-31 1372
M3系列芯片是苹果最新发布的芯片。由于苹果的统一内存架构以及它的超大内存，此前很多人发现可以使用苹果的电脑来运行大语言模型。尽管它的运行速度不如英伟达最先进的显卡，但是由于超大的内存（显存），它可以载入非常大规模的模型。尽管它的运行速度不如英伟达最先进的显卡，但是由于超大的内存（显存），它可以载入非常大规模的模型。对于大模型的推理来说，M3系列芯片最大的优势是载入更大的模型，而使用更少的资源。尽管苹果的芯片并不是为了大模型设计，但是苹果的一个所谓的统一内存架构和超高的内存带宽让支撑了较大规模的大模型运行。
2024，MacBook，大模型知识库，。。。
musicml的博客
01-27 487
▼最近直播超级多，预约保你有收获今晚直播：《构建大模型知识库案例实战》—1—如何在一台 MacBook 上构建企业知识库？最核心最重要的是我们手上的文档资料出于安全要求，不能随便上传到云服务，也就无法实际验证知识库的实际效用。另外对于 IT 同学来说，自己亲手搭建一个完整的方案、能灵活调整和对接各种不同的模型、评测各种模型不同的表现，也是出于对技术的探索本能使然。基于一台 MacBook 搭建部...
Macbook Pro 16G 用 cpu 跑开源多模态大模型LLavA
阿呆591的博客
06-05 1205
LLaVA（LLaMA-C++ for Vision and Audio）是一个综合性的多模态大模型，支持视觉和音频数据的处理和分析。LLaVA基于强大的LLaMA模型架构，结合视觉和音频处理技术，能够实现高效的图像描述、音频分析等功能。它适用于需要在本地环境中运行大模型的场景，尤其是对数据隐私和安全性要求较高的应用。博主在MacBook Pro M3 16G上成功运行了LLaVA模型，使得能够在离线环境中运行LLaVA大模型，
MLX框架的一些示例 包含：文本模型、图像模型、音频模型等
03-11
此存储库包含使用 MLX 的各种独立示例 框架。 文本模型 Transformer 语言模型训练。 在 LLMs 目录中使用 LLaMA、Mistral、Phi-2 等生成大规模文本。 具有 Mixtral 8x7B 的混合专家 （MoE） 语言模型。 使用 LoRA 或...
Stable Diffusion 常用的9个大模型，是精挑细选出来的哦
02-19
二次元\LunZi_2D动漫风小说推文海报插画真人转动漫手绘通用大模型_v1.0.safetensors 二次元\darkSushiMixMix brighterPruned.safetensors 二次元\AWPainting v1.2.safetensors 二次元\anything-v5-PrtRE.safetensors
5分钟在MAC下本地搭建大模型
wushakun的博客
03-26 2708
Ollama——一个简明易用的本地大模型运行框架。随着围绕着 Ollama 的生态走向前台，更多用户也可以方便地在自己电脑上玩转大模型了。Ollama 的目标是帮助开发者在本地运行、创建和共享大型语言模型。Ollama 目前处于早期预览阶段，但已经提供了一些核心功能。例如，它支持运行和对话 Llama 2，这是 Meta 新推出的模型。此外，Ollama 还提供了一个模型库，开发者可以在这里下载和使用各种开源模型。
Mac本地部署大模型-单机运行
weixin_42458975的博客
07-04 1942
在macbook上单机部署运行测试大模型，使用ollama运行阿里通义千问Qwen2.0低参数版本大模型，并给出性能对比。
mac OS飞桨环境搭建-玩PaddleHub大模型
weixin_38989369的博客
10-26 1066
飞桨PaddleHub大模型试用：我的电脑马上就能智脑化了
Meta Llama3 大模型在 Mac 上的部署和运行
音视频开发进阶
04-22 2712
就在前不久，Meta 正式发布了最新版本的开源大模型 Llama3 ，是迄今为止能力最强的开源大模型。Llama3 提供了两个版本 8B 和 70B ，如果你不了解 B 代表什么含义，参考这里：# 关于大模型的一些基础内容其中，8B 版本适合在消费级 GPU 上高效部署和开发；70B 版本则专为大规模 AI 应用设计。每个版本都包括基础和指令调优两种形式。Meta 首席执行官扎克伯格宣布：基于最新...
自己动手在Mac M1上搭建一个大模型聊天机器人
chararch的博客
06-16 1050
在本地运行开源模型的最有效方法是使用llama.cpp项目，llama.cpp是由机器学习专家Georgi Gerganov开发的开源大模型推理框架，最初是为了在本地运行Meta的Llama大模型，经过开源社区的努力，现在能够支持包括Google的Gemma、国内的通义千问、百川等在内的大模型，该项目在github上当前已有60K star。同样得益于技术社区的努力，一些基础的大模型（如llama 7b）也能够在CPU上运行，只是速度可能稍慢，这对于没有独立显卡的普通PC或笔记本用户来说是一个福音。
【如何在 Mac 上运行大模型】
weixin_46458535的博客
12-25 2833
新手如何在 Mac 电脑上安装环境并且运行大模型
一个Arduino可以同时控制几个MLX90393传感器
06-09
是的，一个Arduino可以同时控制多个MLX90393传感器。MLX90393传感器使用I2C接口进行通信，通过I2C地址不同可以实现多个传感器之间的区分。可以在代码中使用Wire库，通过指定不同的I2C地址来控制多个传感器。以下是一个示例代码，用于控制两个不同地址的MLX90393传感器： ``` #include <Wire.h> #define MLX90393_1_ADDRESS 0x0C #define MLX90393_2_ADDRESS 0x0E void setup() { Wire.begin(); } void loop() { // 获取第一个传感器的数据 Wire.beginTransmission(MLX90393_1_ADDRESS); Wire.write(0x00); // 发送读取数据的命令 Wire.endTransmission(false); // 发送重复启动信号 Wire.requestFrom(MLX90393_1_ADDRESS, 6); // 请求6个字节的数据 // 处理数据 // ... // 获取第二个传感器的数据 Wire.beginTransmission(MLX90393_2_ADDRESS); Wire.write(0x00); // 发送读取数据的命令 Wire.endTransmission(false); // 发送重复启动信号 Wire.requestFrom(MLX90393_2_ADDRESS, 6); // 请求6个字节的数据 // 处理数据 // ... } ``` 在代码中，我们首先定义了两个不同的I2C地址，然后在`setup()`函数中初始化了I2C总线。在`loop()`函数中，我们通过Wire库分别向两个传感器发送读取数据的命令，并请求6个字节的数据。接着可以对数据进行处理和分析。这样就可以同时控制多个MLX90393传感器了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值