LM Studio本地部署llama3中文大模型

本文主要介绍:从LM Studio安装到maxKB使用LM Studio发布的llama3中文大模型接口,实现客服助手。

llama3 硬件配置:
显卡:最低6GB GPU,最好支持CUDA的NVIDIA GPU
内存:llama3 8B 至少16GB,llama3 70B至少64GB
磁盘:llama3 8B 约4GB,llama3 70B 约20GB
其实配置比上面低或者没有显卡也没关系,就是回答问题慢,多等会儿。

1.LM Studio简介

LM Studio 是一款功能强大、易于使用的桌面应用程序,用于在本地机器上实验和评估大型语言模型(LLMs)。它允许用户轻松地比较不同的模型,并支持使用 NVIDIA/AMD GPU 加速计算。

2.LM Studio安装

2.1 下载

官网:https://lmstudio.ai/
在这里插入图片描述
根据实际运行环境选择对应版本,本文以windows为例。

2.2 配置hf-mirror.com

由于LM Studio会到huggingface.co下载相关模型,但其无法访问,所以需要把LM Studio中所有出现的huggingface.co改为hf-mirror.com。hf-mirror.com为huggingface.co国内镜像。

找到LM Studio安装路径:右键桌面快捷方式,在“目标”里面可以看到。
比如我这路径是“C:\Users\PC2023\AppData\Local\LM-Studio”。
在这里插入图片描述
用VSCode打开:
在这里插入图片描述
使用VSCode查找、替换:
在这里插入图片描述
重启LM Studio。

3.下载模型

在这里插入图片描述
下载过程可能会失败或者下载速度比较慢,没关系,多点几次“Try Resume”。某一次下载速度就快了,如下图。
在这里插入图片描述

4.对话

LM Studio实现基于特定模型对话。
在这里插入图片描述

5.发布接口

LM Studio可以发布类似open AI的接口,供外部调用。
在这里插入图片描述
启动后,在日志可以看到接口地址:
在这里插入图片描述

6.扩展

MaxKB调用LM Studio服务。由于LM Studio发布的接口跟openAI一样,所以在MaxKB配置时,选择openAI就行。具体配置,如下图所示:
在这里插入图片描述
MaxKB是个啥,见我的这个博客https://blog.csdn.net/taotao_guiwang/article/details/138190431

MaxKB调用LM Studio日志如下:
在这里插入图片描述

7.其它问题

7.1 加载模型报错(v0.3.10)

机器配置:无GPU(显卡)
错误信息:Exit code: 18446744072635812000

解决方法,详见下图配置:
在这里插入图片描述

LM Studio一些常见错误,可以在这查找:https://github.com/lmstudio-ai/lmstudio-bug-tracker/issues

### 如何在 LM Studio部署 LLaMA 模型用于代码生成 #### 准备工作 为了能够在LM Studio中成功部署LLaMA模型并实现代码生成功能,需先获取到合适的预训练模型文件。通常这类资源可以从公开平台如Hugging Face下载获得[^2]。 #### 安装配置环境 确保安装了支持运行大型语言模型所需的软件环境,这可能涉及到特定版本Python解释器的选择以及必要的依赖库安装。对于LM Studio而言,官方文档会提供详细的环境搭建指南[^1]。 #### 导入模型至LM Studio 通过LM Studio提供的界面选项或命令行工具导入之前准备好的LLaMA模型权重文件和其他必要组件。此过程具体操作方法取决于所使用的LM Studio版本及其更新情况,请参照最新发布的用户手册说明执行相应步骤。 #### 设置参数优化性能 针对代码生成任务调整超参数设置来提升最终效果。例如,在启动服务前定义好温度系数(temperature)、top-k采样数量等影响输出多样性的关键因素;同时也要考虑硬件条件合理分配GPU/CPU计算资源以保障高效处理请求。 #### 编写接口脚本 利用Python或其他编程语言编写简单的API客户端程序连接已部署的服务端点(endpoints),并向其发送自然语言描述的任务指令作为输入数据源。下面给出一段基于`requests`库发起HTTP POST请求的例子: ```python import requests url = "http://localhost:8000/generate" payload = { 'prompt': 'def fibonacci(n):', 'max_tokens': 50, } response = requests.post(url, json=payload) print(response.json()) ``` 该片段展示了向本地运行着的LLaMA实例传递一个简短提示词(prompt), 请求它继续完成给定起始部分后的若干个token长度的内容创作。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

core321

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值