Mac专属大模型应用Chat-with-MLX，支持RAG，附千问2整合包！

Mac专属大模型应用Chat-with-MLX，支持RAG，附千问2整合包！

大家好，今天要给大家介绍一个为Apple Silicon Mac量身打造的革命性产品——Chat with MLX！这不仅是一个聊天工具，而是一个全功能的大型语言模型聊天界面。它利用了苹果自家的MLX框架，为用户带来了前所未有的隐私保护和聊天体验。Chat with MLX基于检索增强生成技术（RAG），能与多种开源模型互动，支持多种文件格式和通过URL添加的YouTube视频。这个应用不仅支持多语言交互，还能方便地集成任何HuggingFace和MLX兼容的开源模型，特别适合在MacOS和Apple Silicon上使用。

Chat-with-MLX的亮点

Chat-with-MLX 是一个基于“检索增强生成（RAG）”的聊天界面，它能够利用多种开源模型来提高聊天体验。通过这个工具，用户可以与他们的数据进行互动，支持多种文件格式（如doc(x)、pdf、txt）和通过URL添加的YouTube视频。它支持多语言交互，包括英语、西班牙语、中文、越南语和土耳其语。此外，Chat-with-MLX可以方便地集成任何HuggingFace和MLX兼容的开源模型，提供了在MacOS和Apple Silicon上使用Native RAG的示例。

使用场合

1. 多语言数据查询：当你需要以不同语言查询特定数据，不论是文本、PDF文件还是在线视频。

2. 借助强大模型提升聊天体验：利用先进的开源模型（如Google Gemma, Mistral, StableLM等）增强聊天应用的响应能力和信息的准确性。

3. 研究和开发目的：对AI和机器学习有研究和开发需求的用户，特别是在Apple Silicon（如M1芯片）环境下，可以利用MLX框架高效开发和测试。

4. 文档管理和检索：当需要从大量文本或多媒体内容中检索信息，提供更加直观、快速的访问方式。

主要功能

• 支持与数据聊天，包括各种文件格式和YouTube视频。

• 多语言支持。

• 易于集成各种HuggingFace和MLX兼容的开源模型。

• 在MacOS和Apple Silicon上原生支持RAG。

安装指南

为了简化安装流程，Mac爱范团队将上述工具封装成了一个独立的启动包，用户只需简单点击即可运行，无需配置繁琐的Python环境。以下是获取和安装该应用的详细步骤：

下载应用

前往下载页面：Mac原生大模型应用Chat-with-MLX，支持RAG，附千问2整合包！_AI MAC范，点击页面右侧的下载按钮进行下载。

注意：仅支持搭载有 Mac M1/2/3 系列芯片的设备。

安装步骤

1. 从上述链接下载DMG镜像文件，将app文件拖拽到Applications文件夹中。

2. 复制安装完成后，首次启动先不要在启动台打开，在应用程序文件夹右键打开，如下所示，原因参考Mac 安装软件常见问题。

3. 软件会自动在默认浏览器打开操作界面，地址为 http://127.0.0.1:7860/，此时可以开始在浏览器中使用。

界面预览

• 选择模型后，点击加载模型就可以进行聊天了，点击 RAG 设置可以加载本地数据。

模型选择

• 除了整合包中的通义千问模型，还可以在模型管理处添加其他 MLX 模型。

模型管理

模型和内存配置

该表显示了不同模型大小在各种内存配置下的可用性。每个单元格中的左值表示4-bit量化的可用性，而右值表示对应模型大小和内存组合下8-bit量化的可用性。

例如，如果你的模型大小在14B到34B参数之间，并且有48GB的内存，你可以使用4-bit量化（✅），但8-bit量化不可用（❌）。

模型大小/ 内存	0.5B ~ 4B	6B ~ 13B	14B ~ 34B	40B ~ 56B	65B ~ 72B	100B ~ 180B
8GB	✅/✅	✅/❌	❌/❌	❌/❌	❌/❌	❌/❌
18GB	✅/✅	✅/✅	✅/❌	❌/❌	❌/❌	❌/❌
36GB	✅/✅	✅/✅	✅/❌	✅/❌	❌/❌	❌/❌
48GB	✅/✅	✅/✅	✅/✅	✅/❌	❌/❌	❌/❌
64GB	✅/✅	✅/✅	✅/✅	✅/✅	✅/❌	❌/❌
96GB	✅/✅	✅/✅	✅/✅	✅/✅	✅/❌	✅/❌
192GB	✅/✅	✅/✅	✅/✅	✅/✅	✅/✅	✅/❌