LM Studio 部署本地大语言模型

一、下载安装

1.搜索:lm studio

 LM Studio - Discover, download, and run local LLMs

2.下载

 3.安装

 4.更改成中文

 

二、下载模型(软件内下载)

1.选择使用代理,否则无法下载 

2.更改模型下载目录

 默认下载位置 

C:\Users\用户名\.lmstudio\models

3.搜索、下载

以  deepseek r1 1.5b  为例;如果下载速度慢,暂停后,再恢复下载

三、下载模型(Hugging Face下载)

 1.搜索、下载

 2.放入指定路径

注意:两层文件夹,名称无所谓,最好是 仓库名/文件名/文件

四、使用模型 

1.加载模型 调整参数 

 2.测试后可以再次调整(跳过)

3.其他设置

五、打开本地服务

1.开启服务

 

 注意打开局域网访问模式

2.下载客户端 

①搜索chatbox

Chatbox AI官网:办公学习的AI好助手,全平台AI客户端,官方免费下载

 ②下载

③下一步、下一步安装就行

 3.配置客户端

方法一(推荐):

 设置好IP、端口后保存

方法二:

 4.测试

自行输入框提问测试

### 使用 LM Studio本地环境部署大型语言模型 #### 准备工作 为了成功利用LM Studio本地环境中部署大型语言模型,需先完成软件安装以及获取必要的硬件资源。确保计算机配置满足最低需求,包括足够的内存、存储空间及推荐使用的操作系统版本[^1]。 #### 安装 LM Studio 下载并安装最新版的LM Studio应用程序。该程序支持Windows, macOS 和 Linux多个平台。按照官方文档中的指导步骤操作即可顺利完成安装过程[^2]。 #### 导入预训练模型 启动LM Studio之后,在图形界面上找到导入功能选项。这里可以选择从网络上自动加载或是手动上传已有的预训练模型文件到指定位置保存备用。对于离线环境下,则提前准备好相应的模型权重文件以便后续加载使用。 #### 配置参数与优化设置 进入高级设置页面调整各项超参以适应具体应用场景的要求。这一步骤涉及到对GPU/CPU加速的支持选择、批处理大小设定等重要方面。合理配置这些参数有助于提高推理效率和效果表现。 #### 运行测试实例 一切准备就绪后,便可以尝试输入一些简单的提示词来进行初步验证了。观察输出结果的质量如何,并据此进一步微调前面提到的各项配置直至满意为止。此外还可以借助内置工具分析性能瓶颈所在之处进而采取针对性措施加以改进。 ```python # 示例代码用于展示如何通过API接口发送请求给已经部署好的LLM服务端口 import requests response = requests.post( "http://localhost:8080/predict", json={"prompt": "Once upon a time"} ) print(response.json()) ```
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值