LM Studio 国内食用方法

已于 2025-02-05 22:11:07 修改
阅读量4.1k 收藏 15
点赞数 24
文章标签： 语言模型 开源软件 开源 gpu算力 llama
于 2025-02-05 22:02:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40833640/article/details/145462571
版权

LM Studio 国内食用方法

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传
除了ollama这样的大模型应用平台，其实还有LM Studio，而且和ollama的命令行运行相比较，LM Studio操作会更方便，它提供了完整的图形化操作界面，对新手小白很友好。但是，新手小白下载下来以后，可能会无法正常使用，比如大模型的下载就需要一点点魔法……

我也遇到过类似的问题，那么接着往下看……

本文使用的版本是0.3.8的LM Studio，由于软件更新，文章教程可能随时过期失效，截止最后一次改稿版本为V0.3.9。

附件表

按照国际惯例，先上附件表
|名称|类型|霍格沃兹|适用系统|
|:-:||:-:||:-:||:-😐
|LM Studio|官网|否|Mac|
|LM Studio|官网|否|Windows|
|LM Studio|官网|否|Linux|
|hf-mirror.com|huggingface.co代理|否|Mac/Windows/Linux/Android/iOS|
|魔塔社区|魔塔社区|否|Mac/Windows/Linux/Android/iOS|

下载安装

  1. 下载进入官网https://lmstudio.ai/，选择你的系统对应的安装包，比如我的系统是Windows，我就选择Windows，或者直接在附件表下载安装
    外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

  2. 安装不用我多说吧？你都了解到大模型了总不能不会安装吧？安装完毕以后你看到的应该是这样的界面外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

使用前准备

1. 切换语言

  • 英文界面可能很多国人都看不懂，LM Studio从0.3.5版本开始就支持中文了。这里以0.3.8为例，先点击右下角的齿轮外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

  • 找到language选项，切换为简体中文（beta)，选好以后会自动切换为中文，然后直接点X关掉弹窗外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

2. 换源

因为众所周知的原因，默认情况下，你是不能正常下载大模型的，需要换源才能使用你有霍格沃兹的情况下是可以正常使用的

查找含有huggingface.co的文件

  1. 在电脑桌面找到LM Studio的图标，右键选择“打开文件所在位置”，打开LM Studio所在目录外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

  2. 打开以后你看到的应该是这样的界面！鼠标单击上面的地址栏，就是图中蓝色部分，电脑会自动选择，直接按下Ctrl + C复制或者右键选择复制外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

  3. 然后我们在电脑搜索栏搜索PowerShell，单击图中红色或蓝色框选区打开。或者按下WIN + R键，输入PowerShell也是一样的效果打开PowerShell

  4. 依次输入下面的命令

# 进入你复制的目录cd+空格+右键
cd C:\Users\MakotoArai\AppData\Local\Programs\lm-studio

# 查找含有huggingface.co的文件
findstr /s /i /m /c:"huggingface.co" *.*
  1. 不出意外的话，你会看到下面的输出内容，一共是三个文件，文件所在目录上面也有，接下来找到对应的文件修改即可PowerShell
把huggingface.co更改为hf-mirror.com

  1. 打开**\resources\app.webpack\main目录，找到index.js**，右键选择记事本，如果没有记事本选项，选择其他应用打开再找到记事本你安装过VS code就双击打开就好啦

  2. 这里以vs code为例因为记事本太卡了，记事本选择编辑->替换，后续和vs code是一样的。操作流程看下图替换文本

开始使用

下载模型

1. 在LM Studio内下载

  • 打开LM Studio查看有没有大模型可以选了，没有就先把LM Studio关了再重新打开，然后下载大模型开始食用，操作如下图：外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

  • 下载好以后选择你的模型选择模型

  • 我已经安装了下面的模型，另外的正在下载……外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

2. 在魔塔社区下载模型

  • 打开魔塔社区，找到你想要的模型，直接点击下载外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

  • 下载下来以后，根据你的这个目录存放模型

  • 在你的模型所在路径下，需要嵌套两个文件夹，否则无法正常识别模型文件，如下：

AImode
└─qianwen2-0-5B
     └─Qwen-2-5b
       └─qwen2-0_5b-instruct-fp16.gguf

设备要求

1. 1.5B 模型（约15亿参数）
配置项最低配置推荐配置
显存（GPU）4GB（需4-bit量化）8GB（可运行FP16精度）
显卡型号NVIDIA GTX 1650/1060 6GBNVIDIA RTX 3060/4060 8GB
内存（RAM）8GB DDR416GB DDR4
CPUIntel i3 / AMD Ryzen 3（4核）Intel i5 / AMD Ryzen 5（6核）
存储256GB SSD（模型文件约3-5GB）512GB NVMe SSD
适用场景轻量文本生成、简单问答、嵌入式设备本地调试、小型应用部署
2. 7B 模型（约70亿参数）
配置项最低配置推荐配置
显存（GPU）8GB（需4-bit量化）16GB（FP16精度）
显卡型号RTX 3060/3070/4060 8GBRTX 3080/4080/A2000 16GB
内存（RAM）16GB DDR432GB DDR5
CPUIntel i5 / Ryzen 5（6核）Intel i7 / Ryzen 7（8核）
存储512GB SSD（模型文件约10-15GB）1TB NVMe SSD
适用场景本地对话、代码补全、中等长度生成多任务推理、长文档处理
3. 8B 模型（约80亿参数）
配置项最低配置推荐配置
显存（GPU）10GB（需4-bit量化）16-24GB（FP16精度）
显卡型号RTX 3080 10GB/4060 Ti 16GBRTX 3090/4090/A4000 16GB+
内存（RAM）24GB DDR448GB DDR5
CPUIntel i7 / Ryzen 7（8核）Intel i9 / Ryzen 9（12核）
存储512GB SSD（模型文件约12-18GB）1TB NVMe SSD
适用场景复杂对话、多轮交互、中等规模数据分析企业级工具开发、RAG应用
4. 14B 模型（约140亿参数）
配置项最低配置推荐配置
显存（GPU）16GB（需4-bit量化）24GB+（FP16精度）
显卡型号RTX 3090 24GB/4090 24GBNVIDIA A5000 24GB/A6000 48GB
内存（RAM）32GB DDR464GB DDR5
CPUIntel i9 / Ryzen 9（12核）Xeon/EPYC（16核以上）
存储1TB NVMe SSD（模型文件约25-30GB）2TB NVMe SSD
适用场景代码生成、复杂逻辑推理、企业级工具高并发API服务、大规模数据处理
5. 32B 模型（约320亿参数）
配置项最低配置推荐配置
显存（GPU）24GB（需4-bit量化 + 多卡）80GB+（FP16精度 + 多卡）
显卡型号2x RTX 3090 24GB2x NVIDIA A100 80GB/H100 80GB
内存（RAM）64GB DDR4128GB DDR5 ECC
CPUXeon/EPYC（16核以上）双路CPU（32核以上）
存储2TB NVMe SSD（模型文件约60-80GB）4TB NVMe RAID
适用场景科研级推理、大规模知识库问答分布式训练、超长文本生成
6. 70B 模型（约700亿参数）
配置项最低配置推荐配置
显存（GPU）48GB（需4-bit量化 + 4卡）320GB+（FP16精度 + 多卡集群）
显卡型号4x RTX 4090 24GB4x NVIDIA H100 80GB/A100 80GB
内存（RAM）128GB DDR5 ECC256GB+ DDR5 ECC
CPU双路Xeon/EPYC（64核以上）四路CPU（128核以上）
存储4TB NVMe RAID（模型文件约140GB）8TB 企业级SSD阵列
适用场景类GPT-3.5级别推理、超大规模数据处理云端服务、AIaaS平台
7. 671B 模型（约6710亿参数）
配置项最低配置推荐配置
显存（GPU）无单机方案，需分布式集群64x NVIDIA H100（6400GB显存）
显卡组合云服务（AWS P4/P5实例）超算集群（千卡级并行）
内存（RAM）512GB+ ECC DDR52TB+ ECC DDR5
CPU多路EPYC/Xeon（256核以上）超算级CPU（1024核以上）
存储16TB+ 高速存储阵列分布式存储（100TB+）
适用场景国家级AI研究、超大规模预训练全球级AI服务（如GPT-4级别）

大模型推理显存计算器

参数可以在名称或config.json里面找到


预估显存需求: GB 计算显存需求 仅供参考

魔塔社区DeepSeek模型

显存大小模型名称备注适用
32GBDeepSeek-R1-Distill-Qwen-32B-Q6_K.ggufLM studio
24GBDeepSeek-R1-Distill-Qwen-32B-Q4_K_M.gguf DeepSeek-R1-Distill-Qwen-32B-Q5_K_M.gguf质量:Q5>Q4速度Q5<Q4LM studio
16GBDeepSeek-R1-Distill-Qwen-14B-Q6_K.ggufLM studio
12GBDeepSeek-R1-Distill-Qwen-14B-Q4_K_M.ggufLM studio
11GBDeepSeek-R1-Distill-Qwen-14B-Q4_K_M.ggufLM studio
8GBDeepSeek-R1-Distill-Qwen-7B-Q6_K.gguf DeepSeek-R1-Distill-Llama-8B-Q6_K.gguf二选一即可LM studio
6GBDeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf DeepSeek-R1-Distill-Llama-8B-Q4_K_M.gguf二选一即可LM studio
4GBDeepSeek-R1-Distill-Qwen-7B-Q3_K_L.gguf DeepSeek-R1-Distill-Qwen-1.5B-Q8_0.gguf质量:7B>1.5B速度:7B<1.5BLM studio
3GB、2GBDeepSeek-R1-Distill-Qwen-1.5B-Q8_0.ggufLM studio

运行效果

  • 效果如图，正确答案是39
  1. Gemma2B:外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传
  2. Qwen2-0 5B外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传
  3. miniCPM2.6大模型问答
  4. Qwen2.5-coder-3B大模型问答
  5. phi4白大大模型问答
  6. deepseek-r1-distill-qwen-7b外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传
  7. deepseek-coder-v2-lite-instruct白大，已经自己把自已绕晕了，无限死循环外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

总结

如果你手头的设备足够好，那就上更大的模型，如果不够那就食用在线的服务比较好，本地部署的大模型就用于学习练手玩玩图个乐子就好了。

MakotoArai
关注
2.特定领域知识图谱融合方案：文本匹配算法之预训练Simbert、ERNIE-Gram单塔模型等诸多模型【三】
丨汀、的博客
02-14 3095
本项目主要讲述文本匹配算法、知识融合学术界方案、知识融合业界落地方案、基于单塔 Point-wise 范式的语义匹配模型 erniematching: 模型精度高、计算复杂度高,适合直进行语义匹配
六级单词词汇表（有注音）
qq_40927742的博客
09-25 3857
英语六级备考词汇表 abnormal / æb’nɔ:mәl/a.不正常的；变态的 abolish / ә’bɔliʃ/ vt.废除，取消 abrupt/ ә’brΛpt/a. 突然的，意外的，唐突的 absurd / әb’sә:d/ a.不合理的，荒唐的 abundance / ә’bΛndәns/n.丰富，充裕 academy / ә’kædәmi/n.私立中学；专科院校 accessory...
第二十九篇-LM Studio设置国内模型源
木卫二号的专栏
05-22 3524
第二十九篇-LM Studio设置国内模型源。
LM Studio本地部署llama3中文大模型
core815的专栏
08-02 4296
LM Studio本地部署llama3中文大模型
使用LM Studio与Anything LLM基于Llama-3高效构建本地知识库系统
wangjye99的博客
04-27 1万+
另外，也可以选择openai或AnythingLLM，如果选择AnythingLLM，如下图所示，列表了其支持的大语言模型，选择了对应的模型点击“save changes“时，在后台会下载对应的大模型到本地。针对测试人员，可以在构建的大型模型和知识库问答应用中进行快速测试，并跟踪各个环节的结果，如embedding的召回结果是否覆盖所有知识点，可通过接口调用日志进行快速查看。针对业务专家和产品设计人员，即使不懂代码，也能快速构建产品原型，了解基于大型模型知识体系的构建过程，并能选型大语言模型。
240731-一图解释LM-Studio如何设置模型的国内下载
专注机器学习之路
07-31 5505
LM-Studio设置国内模型下载
LLM之LM studio：LM studio的简介、安装和使用方法、案例应用之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
04-05 3万+
​ LLM之LM studio：LM studio的简介、安装和使用方法、案例应用之详细攻略 目录 LM Studio的简介 LM Studio的安装和使用方法 LM Studio的案例应用 LM Studio的简介 LM Studio的口号是发现、下载并运行本地 LLMs。LM Studio 是一款桌面应用程序，可在您的计算机上运行本地大型语言模型（LLMs）。 官网：LM Studio - Discover, download, and run local
LM Studio使用
qq_50182135的博客
02-18 411
下载完成后界面打开为英文 点击next（或者右上角skip）进入主界面之后。点击右下角齿轮打开设置界面，在language中选择 简体中文。点击发现按钮，根据最佳匹配下载合适自己电脑的模型即可。
【本地部署实战】LM Studio深度使用指南：从环境搭建到模型调优
最新发布
远程部署调试 运行安装 项目调试 二次开发 项目技术新 持续迭代 部分源码免费分享
02-26 3185
LM Studio通过极简的操作流程和强大的生态兼容性，让本地部署大模型成为可能。随着M4芯片的发布和CUDA 12.0的优化，未来本地化AI开发将迎来新的爆发点。建议开发者关注官方Discord社区（https://discord.gg/lmstudio）获取最新模型支持信息。
LM Studio - 超级简单文本 AI - Windows、Mac 和 Linux / 如何使用
OlivioSarikas的博客
08-12 1073
这段视频介绍了名为“LM Studio”的免费人工智能模型管理软件。该软件支持 Windows、Mac 和 Linux 系统，用户可以轻松下载安装。 LM Studio 的主要功能包括： **模型搜索和下载：**用户可以直接在软件中搜索和下载各种 AI 模型，无需访问 Hugging Face 或 GitHub 等平台。 **模型信息展示：**软件提供模型的详细介绍、链接到相关论文，方便用户了解...
Datawhale AI 夏令营第四期 大模型技术-微调 task3 数据增强与评分
spring5的博客
08-15 975
如果你对baseline1的解读仍然充满困惑，那么推荐你从学习python开始，打好基础再来尝试也不迟~你可以学习《聪明办法学python第二版》打扎实深度学习相关的python基础知识~
用LM Studio：2分钟在本地免费部署大语言模型，替代ChatGPT
weixin_39108752的博客
01-10 1万+
你想在本地使用类似ChatGPT 的大语言模型么？LM Studio 可以帮你2分钟实现ChatGPT的功能，而且可以切换很多不同类型的大语言模型，同时支持在Windows和MAC上的PC端部署。LM Studio是一款面向开发者的友好工具，特别适合那些想要探索和使用大型语言模型的人。无论是出于专业开发的需要，还是仅仅为了体验和玩转各种API，LM Studio都提供了一个简便、高效的解决方案。使用LM Studio不需要深厚的技术背景或复杂的安装过程。
用LM Studio工具部署本地AI大模型，真的太省事了！（普通人也能用）
pythonhy的博客
11-26 8652
今天我想给大家推荐一个比 Ollama 更加清爽的工具：LM Studio（如果你还不熟悉 Ollama，它其实是一个用于安装和管理大模型的工具）， LM Studio 不仅对普通用户友好，技术人员也友好，方便地安装大模型。它提供了开发模式，让技术人员能深入了解相关参数。在用户界面方面，LM Studio 相比 Ollama 也更为出色。
训练属于自己的大模型LM Studio使用记录
djl的专栏，blog.djl.cx好记
12-17 9919
可能对回答的结果并不满意, 我们可以点击结果后面的编辑, 更正结果, 多次训练后, ai就回回复我们想要的答案。api使用python调用: https://github.com/openai/openai-python。点击菜单栏倒数第二个图标, 进入api页面;随意设置一个端口号, 启动服务。安装之后打开, 搜索对应大模型, 下载, 举例: baichuan。下载地址: https://lmstudio.ai/点击左侧菜单栏聊天图标, 新建聊天, 输入框输入内容。点击左侧菜单栏文件夹图标进行管理。
用 LM Studio 1 分钟搭建可在本地运行大型语言模型平台替代 ChatGPT
AI全栈 和 IT 编程相关分享
04-23 6890
LM Studio是一个允许用户在本地运行大型语言模型（LLMs）的平台，它提供了一种便捷的方式来使用和测试这些先进的机器学习模型，而无需依赖于互联网连接。脱机：用户可以在自己的笔记本电脑上运行LLMs，完全不需要在线连接。用户界面：LM Studio提供了一个应用内聊天界面，用户可以通过这个界面与模型交互，或者使用一个与OpenAI兼容的本地服务器。模型下载：用户可以从Hugging Face的🤗（即Hugging Face公司）仓库下载任何兼容的模型文件。模型支持。
别只会用别人的模型了，自学Ai大模型，顺序千万不要搞反了！刚入门的小白必备！
2301_81888214的博客
02-13 733
别只会用别人的模型了，自学Ai大模型，顺序千万不要搞反了！刚入门的小白必备！
解锁LM Studio：本地大模型部署与使用全攻略
远程部署调试 运行安装 项目调试 二次开发 项目技术新 持续迭代 部分源码免费分享
02-04 7586
LM Studio 是一款功能强大的桌面应用程序，旨在让用户能够轻松地在本地设备上运行、管理和部署大型语言模型。它的出现，使得大型语言模型的使用不再局限于拥有强大计算资源和专业技能的用户，普通开发者和爱好者也能通过简单的操作，在自己的电脑上体验大语言模型的魅力。通过本文的详细介绍，我们全面了解了 LM Studio 的使用方法，从下载安装、模型管理，到聊天交互、本地服务器配置以及文本嵌入功能的应用，同时也掌握了常见问题的解决技巧。
LM Studio 本地部署DeepSeek及其他AI模型的详细操作教程及硬件要求
热门推荐
任聪聪的博客
01-29 4万+
LM Studio是一款能够本地离线运行各类型大语言模型的客户端应用，通过LM Studio 可以快速搜索所需的llms类型的开源大语言模型，并进行运行。特点：本地、独立、离线官网：https://lmstudio.ai/
deepseek r1训练
02-03
### 关于 DeepSeek R1 训练的教程和资源 DeepSeek R1 成功的关键之一在于其开源策略，这使得获取训练所需的各种资源变得相对容易。Hugging Face 平台已经全面复刻了 DeepSeek R1 的所有流程，并开放了完整的训练数据集以及相关脚本[^1]。 对于希望深入了解并参与 DeepSeek R1 模型训练的研究者或开发者来说，可以从以下几个方面入手： #### 获取官方文档和支持材料 - **GitHub 仓库**: 官方 GitHub 上托管着 DeepSeek R1 的核心代码库及其详细的 README 文件，其中包含了环境配置说明、依赖安装指导等内容。 #### 利用 Hugging Face 资源 - **模型卡页面**: 在 Hugging Face Model Hub 中可以找到专门针对 DeepSeek R1 创建的模型卡片，这里不仅有预训练权重下载链接，还有关于如何微调该模型的具体实例介绍。 - **社区讨论区**: 加入 Hugging Face 社区论坛，在那里与其他爱好者交流心得体验，共同解决遇到的问题。 #### 实践案例分享 为了更好地理解 DeepSeek R1 如何应用于实际场景中，可以通过研究一些成功的应用案例来学习。例如，在某个软件开发项目里，团队利用 DeepSeek R1 快速生成了一个后端 API 服务的基础架构，从而显著提升了工作效率[^3]。 ```python from transformers import AutoModelForSequenceClassification, Trainer, TrainingArguments model_name = "deepseek-r1" data_path = "./training_data" # Load pre-trained model and dataset... trainer = Trainer( model=AutoModelForSequenceClassification.from_pretrained(model_name), args=TrainingArguments(output_dir="./results"), ) # Start training process with your own data. trainer.train(data_path) ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值