大模型推理：LM Studio在Mac上部署Deepseek-R1模型

LM Studio

LM Studio是一款支持离线大模型部署的推理服务框架，提供了易用的大模型部署web框架，支持Linux、Mac、Windows等平台，并提供了OpenAI兼容的SDK接口，主要使用LLama.cpp和MLX推理后端，在Mac上部署时选择MLX推理后端会显著提升大模型的生成速度。

环境信息

• 机器信息：Mac studio M2 192G， MacOS
• 部署模型：部署DeepSeek-R1-Distill-LLama-70B 8bit / DeepSeek-R1-Distill-Qwen-32B 8bit 模型
• 部署框架：LM Studio 0.3.13

安装

• LM Studio官网下载安装文件，正常安装即可。
  

模型下载

通过命令行或者web界面进行大模型下载时，默认走huggingface.co，国内需要特殊设置才能访问，因此推荐换掉该源使用modelscope或者hf-mirror进行下载。

• 下载源更换：
  • 命令行进入目录：/Applications/LM Studio.app/Contents/Resources/app/.webpack，执行open . ，会以文件形式弹出该目录
  • 文本编辑器分别打开文件：main/index.js和rederer/main_window.js，选择用 modelscope.cn 或者 hf-mirror.com 替换掉 huggingface.co，全部替换，保存关闭
  • 重启LM Studio即可。
• 大模型下载：
  • 方式一：web页面下载
    在web页面选择需要下载的大模型，等待完成即可，完成后在web界面l或者命令行load（lms load [模型名称]）。
  • 方式二：命令行形式下载
    在命令窗口使用命令 lms get [model name], 模型名称需要上述下载源里面存在，完成后在web界面l或者命令行load（lms load [模型名称]）。
  • 方式三：Git lfs 下载
    上述两种方式，我这儿下载时经常遇到下载暂停的形象，为解决这个问题，推荐 Git 大文件下载方式（推荐Modelscope，提供模型的组织选择mlx-community）。
    • 安装Git lfs、初始化git lfs，可自行deepseek问下。
    • 模型下载后（Mac上通常选择mlx-community仓库中的mlx模型）将其放入目录：~/.lmstudio/models，结构是：仓库名称(可自定义)->包含文件权重的文件夹（文件夹名称可自定义）
    • 最后在web界面l或者命令行load（lms load [模型名称]）。
    • 注意：也可通过lms imort命令去导入，但是文件夹下只能含有一个文件，而safetensors文件基本是多个，所以不是很推荐

模型服务

• 模型load完成后，可在web页面聊天，lm studio自带web聊天界面
• 模型load完成后，开启local server配置，则可使用OpenAI SDK接口调用。局域网内的其他主机若需要通过OpenAI SDK访问，另需要开启局域网访问（serve on local network），开启方式如下：
  • 方式一：web界面操作。LM studio web界面左侧导航栏 Develop 界面，开启" Status Running"，Setting里面开启“Seve on Local Network”
  • 方式二：命令行操作。开启serve服务命令lms server start , 开启局域网访问则修改配置文件：打开vim ~/.lmstudio/.internal/http-server-config.json ，将networkInterface修改为‘0.0.0.0’
    

参考文献

• LM Studio Docs
• 在 MacOS 上为 LM Studio 更换镜像源
• lmstudio-ai/lms issues 201