mlx-engine：为LM Studio量身打造的Apple MLX LLM引擎

最新推荐文章于 2025-05-03 15:22:16 发布
最新推荐文章于 2025-05-03 15:22:16 发布
阅读量324 收藏 6
点赞数 3
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gitblog_01114/article/details/146561597
版权

mlx-engine：为LM Studio量身打造的Apple MLX LLM引擎

mlx-engine 👾🍎 Apple MLX engine for LM Studio mlx-engine 项目地址: https://gitcode.com/gh_mirrors/ml/mlx-engine

项目介绍

mlx-engine 是一个专为LM Studio设计的Apple MLX语言模型引擎。它旨在提供一个高效的解决方案，以帮助用户轻松实现文本生成和视觉模型推理等功能。通过集成mlx-lm、Outlines和mlx-vlm等先进技术，mlx-engine能够在不同的应用场景中提供出色的性能。

项目技术分析

mlx-engine 是基于一系列强大的开源技术构建的，这些技术包括：

  • mlx-lm：Apple MLX推理引擎，提供MIT协议下的开源许可，用于处理大型语言模型的推理任务。
  • Outlines：为LLM提供结构化输出的工具，遵循Apache 2.0协议。
  • mlx-vlm：为MLX设计的视觉模型推理工具，同样遵循MIT协议。

这些技术的结合使得mlx-engine不仅具备高效的文本处理能力，还能进行复杂的视觉模型推理。

项目及技术应用场景

mlx-engine 的应用场景广泛，以下是一些主要的应用领域：

  1. 文本生成：mlx-engine 支持多种大型语言模型，如Meta-Llama和Qwen2，可以用于生成高质量的文本内容，包括文章、故事、对话等。

  2. 视觉模型推理：mlx-engine 集成了视觉模型推理功能，可以用于图像识别、图像分类、图像生成等任务。

  3. 交互式助手：mlx-engine 可以被集成到聊天机器人或虚拟助手中，提供自然语言理解和生成能力，以及图像理解能力。

  4. 教育与科研：mlx-engine 提供了一个易于使用的平台，适合教育机构和研究人员进行机器学习和人工智能的教学和研究。

  5. 创意艺术：艺术家和设计师可以利用mlx-engine 的文本和视觉模型推理功能，创作出新颖的艺术作品。

项目特点

以下是mlx-engine 的主要特点：

  • 集成性：mlx-engine 紧密集成到LM Studio中，为用户提供了一体化的体验，无需复杂的配置和设置。

  • 易用性：通过提供简单的命令行工具和API，mlx-engine 使开发者能够快速部署和使用语言模型和视觉模型。

  • 高效性：mlx-engine 利用Apple MLX技术的高性能，确保在处理大规模数据时，能够提供高效的服务。

  • 灵活性：mlx-engine 支持多种模型和任务，为用户提供了灵活的选择，以满足不同的业务需求。

  • 可扩展性：mlx-engine 的架构设计考虑了未来的扩展性，方便用户添加新的模型和功能。

总结来说，mlx-engine 是一款功能强大、易于使用且高度集成的Apple MLX语言模型引擎，它能够满足多种业务需求，为用户提供了丰富的应用场景。对于需要高效处理文本和视觉数据的应用开发者来说，mlx-engine 无疑是一个值得尝试的开源项目。立即下载并体验mlx-engine，开启您的AI之旅吧！

mlx-engine 👾🍎 Apple MLX engine for LM Studio mlx-engine 项目地址: https://gitcode.com/gh_mirrors/ml/mlx-engine

使用 Apple MLX 对 LLM 进行医学诊断预测微调（教程含完整源码）
iCloudEnd的博客
11-11 336
在我之前的文章中，我讨论了微调大型语言模型 (LLM) 的基础知识及其使用该Apple MLX框架的具体用例，包括如何构建 LLM 的自定义版本。那篇文章重点介绍了使用 微调 LLM 的特定用例，mistralai/Mistral-7B-Instruct-v0.2用于Low Rank Adapters (LoRA)文本到 SQL 任务，允许模型根据用户提示生成 SQL 查询。在这篇文章中，我将探讨用于医疗诊断预测的更高级 LLM 微调用例。
MLX框架的一些示例 包含：文本模型、图像模型、音频模型等
03-11
此存储库包含使用 MLX 的各种独立示例 框架。 文本模型 Transformer 语言模型训练。 在 LLMs 目录中使用 LLaMA、Mistral、Phi-2 等生成大规模文本。 具有 Mixtral 8x7B 的混合专家 （MoE） 语言模型。 使用 LoRA 或 QLoRA 进行参数高效微调。 带有 T5 的文本到文本多任务转换器。 使用 BERT 进行双向语言理解。 图像模型 在 CIFAR-10 上使用 ResNets 进行图像分类。 使用 Stable Diffusion 生成图像。 MNIST 上的卷积变分自编码器 （CVAE）。 音频模型 使用 OpenAI 的 Whisper 进行语音识别。 多式联运模型 使用 CLIP 联合文本和图像嵌入。 使用 LLaVA 从图像和文本输入生成文本。 其他型号 使用 GCN 对图结构化数据进行半监督学习。 用于密度估计和 采样。
苹果深度学习框架`MLX`简介及编译示例
胡争辉
12-16 2350
MLX北京时间2023年12月6日，苹果机器学习研究中心 (Apple machine learning research) 在GitHub上开源MLX。项目地址为。MLX深度学习框架是苹果专门为芯片优化，号称能够简化MaciPadiPhone平台研究人员设计和部署模型的过程。MLX熟悉的 APIMLX具有紧密类似NumPy的Python API。MLX还拥有功能齐全的C++ API，它与Python API非常相似。MLX具有像mlx.nn和这样的更高级别的软件包，其API紧密类似PyTorch。
matlab基础入门
daoer_sofu的专栏
12-29 5143
文件类型 m脚本文件 mlx实时脚本，输出结构在文本中显示，类似python Jupyter fig图窗文件，支持和m文件交互 mexw64文件，mex test.c编译mex文件 c++和matlab相互调用 通过loadlibrary、libfunctions、calllib调用c++dll文件 通过deploytool编译m文件到c++dll文件，或者独立的exe ......
使用MLX在本地运行大型语言模型：详细教程与实践
qq_29929123的博客
08-31 1377
本文介绍了如何使用MLX和LangChain在本地运行大型语言模型。这种方法不仅可以提高开发效率，还能保护数据隐私，特别适合对数据敏感的应用场景。MLX官方文档LangChain文档。
matlab的mlx文件 变成HTML,MLX 文件扩展名： 它是什么以及如何打开它？
weixin_42174176的博客
06-28 4343
MLX 文件疑难解答 打开 MLX 文件过程中所遇到的常见问题The MathWorks MATLAB 未安装双击 MLX 文件时，您可能会在操作系统中看到一个对话框，指出 “无法打开此文件类型”。 通常情况下，这意味着 The MathWorks MATLAB 没有安装在 %%os%% 上。 操作系统不知道如何处理你的 MLX 文件，因此双击加载该文件不起作用。 提示：如果你知道有其他软件打开 ...
MLX Examples 项目常见问题解决方案
gitblog_00812的博客
12-14 417
MLX Examples 项目常见问题解决方案 mlx-examples 在 MLX 框架中的示例。 项目地址: https://gitcode.com/gh_mirrors/ml/mlx-examples ...
【人工智能】LM Studio 模型管理深度解析：高效切换 DeepSeek 不同版本的艺术与实践
一个被知识诅咒的人
04-09 970
随着开源大语言模型（LLM）的快速发展，DeepSeek 系列模型因其卓越的推理能力和多样化的版本（如 R1、V3 等）受到广泛关注。然而，如何在本地环境中高效管理并切换这些模型版本，成为开发者面临的重要挑战。本文深入探讨了 LM Studio 作为一款强大的本地 LLM 运行工具，如何实现 DeepSeek 不同版本的模型管理与高效切换。通过详细的技术分析，我们将介绍模型加载、内存优化、版本切换的原理，并提供大量代码示例和中文注释，帮助读者理解从安装到实际操作的全流程。此外，文章还将探讨硬件需求、性能调优
《Ollama : AI Readme》
zheng_ruiguo的专栏
03-03 748
《Ollama : AI Readme》
qwen3
最新发布
thesky123456的博客
05-03 631
💜 Qwen Chat | 🤗 Hugging Face | 🤖 ModelScope | 📑 Paper | 📑 Blog ｜ 📖 Documentation 🖥️ Demo | 💬 WeChat (微信) | 🫨 Discord Visit our Hugging Face or ModelScope organization (click links above), search checkpoints with na
mlx-benchmark 使用教程
gitblog_00183的博客
09-02 426
mlx-benchmark 使用教程 mlx-benchmarkBenchmark of Apple's MLX operations on all Apple Silicon (GPU, CPU) + MPS and CUDA.项目地址:https://gitcode.com/gh_mirrors/ml/mlx-benchmark 1、项目介绍 mlx-benchmark 是一个用于基准测试 ...
使用MLX90640自制红外热像仪(三)：图像插值、图像彩色编码
qlexcel的专栏
08-12 9650
  经过上一节，已经把MLX90640的32x24个像素点读出来了，可是使用32x24直接显示在屏幕上，显示区域显示太小了，于是就需要对图像就行放大。
推荐开源项目：MLX——新一代机器学习框架
gitblog_00062的博客
05-09 1129
推荐开源项目：MLX——新一代机器学习框架 项目地址:https://gitcode.com/gh_mirrors/ml/mlx 1、项目介绍 MLX是一个专为苹果芯片设计的机器学习数组框架，由Apple的机器学习研究团队打造。该项目旨在提供一个既简单易用又高效的研究环境，让研究人员能够快速探索和实现新的算法思想。MLX的设计灵感来源于NumPy、PyTorch、Jax以及ArrayFire等知名...
DeepSeek R1 14B + LM Studio 本地大模型实测
pitt1997的博客
02-16 3570
一款开源的本地 LLM 推理 GUI 工具支持 GGUF 格式大模型（Llama.cpp 后端）支持 GPU 加速，可用运行大模型可直接在本地进行离线 AI 对话，不依赖 OpenAI API✅LM Studio 是最简单的本地大模型推理工具之一✅支持 LLaMA / Qwen / Mistral / DeepSeek 等 GGUF 模型✅可以用 RTX 4060Ti / 4070 / 4090 跑 7B / 14B/ 32B 量化模型✅。
苹果大模型系列之Apple MLX 与 Llama.cpp 对比 Hugging Face Candle Rust，实现本地闪电般快速的LLM
iCloudEnd的博客
06-28 812
在 NLP 部署方面，推理速度是一个至关重要的因素，特别是对于支持 LLM 的应用程序而言。随着 Apple M1 芯片等移动架构数量的不断增长，评估 LLM 在这些平台上的性能至关重要。在本文中，我比较了三个流行的 LLM 库（MLX、Llama.cpp和Hugging Face 的Candle Rust）在Apple M1 芯片上的推理/生成速度。旨在方便开发人员选择最合适的库在本地机器上部署 LLM，同时考虑性能、实现的便利性以及与可用工具和框架的兼容性。
利用MLX Local Pipelines运行本地机器学习模型
cgsayuclv的博客
10-31 458
MLX是一个社区托管的模型库，包含超过150个开源模型。这些模型存储于Hugging Face Model Hub，这是一个在线协作和构建机器学习模型的平台。这篇文章介绍了如何在本地通过MLX加载和运行机器学习模型。更多关于MLX的使用信息和示例，可以查看以及MLX的官方文档。
Python DDD 项目教程
gitblog_00224的博客
08-09 365
Python DDD 项目教程 python-dddPython DDD example 项目地址:https://gitcode.com/gh_mirrors/py/python-ddd 1. 项目的目录结构及介绍 python-ddd/ ├── docs/ │ └── image/ ├── src/ │ └── ... ├── .gitignore ├── README.md └──...
mlx-lm gpu
12-28
### 使用 mlx-lm 配置 GPU 对于希望利用 Mac 设备上 Apple Silicon 架构的内置 GPU 加速机器学习任务的开发者来说，配置 `mlx-lm` 是一种有效的方式。具体而言，在支持 GPU 的 Mac M1/M2 上安装并使用 `mlx-lm` 可以为深度学习提供必要的硬件加速。 #### 安装依赖库 首先需要确保环境中已经正确设置了 Python 和 pip 工具链。接着可以通过 Pip 安装命令来获取最新的 `mlx-lm` 库版本： ```bash pip install mlx-lm ``` 此过程会自动拉取所有必需的依赖项，并完成软件包的初始化工作[^2]。 #### 检查 GPU 支持状态 一旦成功安装了 `mlx-lm` 后，建议先验证当前环境是否能够识别到可用的 GPU 资源。这一步骤非常重要，因为它直接影响后续操作能否充分利用硬件性能优势。可以执行如下代码片段来进行检测： ```python import torch print(torch.backends.mps.is_available()) ``` 上述脚本将返回布尔值表示 MPS (Metal Performance Shaders) 是否被激活以及是否有兼容的 Metal GPU 存在。MPS 是 macOS 平台上用于图形处理单元计算的核心技术之一，它允许应用程序访问设备上的 GPU 功能以提高运算效率。 #### 设置模型推理时启用 GPU 当确认系统中有合适的 GPU 可供调用之后，则可以在加载预训练好的大型语言模型（LLMs）实例之前指定其运行位置为 GPU。下面给出了一段示范性的 Python 代码用来展示这一过程： ```python from transformers import AutoModelForCausalLM, AutoTokenizer tokenizer = AutoTokenizer.from_pretrained("model_name_or_path") model = AutoModelForCausalLM.from_pretrained("model_name_or_path").to('mps') ``` 这里的关键在于 `.to('mps')` 方法的应用，该方法指示 PyTorch 将整个神经网络迁移到 Metal 编程接口所管理下的 GPU 中去执行，从而实现显著的速度提升效果[^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

奚子萍Marcia

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值