【AI开发：语言】二、Qwen1.5-7B模型本地部署CPU和GPU版

My的梦想已实现

已于 2024-04-21 20:17:35 修改

阅读量3.9k

点赞数 22

分类专栏： AI研究文章标签：人工智能

于 2024-04-16 20:07:44 首次发布

本文链接：https://blog.csdn.net/alarey/article/details/137828547

版权

5 篇文章

订阅专栏

本文介绍了如何使用LMStudio下载和运行HuggingFace模型，如4BGGUF格式，包括安装、加载模型、API功能以及与Koblod的对比。作者还提供了不同厂商的模型资源链接和API文档地址。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前言

之前文章，我们采用了Koblod运行Yi-34B大模型，本文采用LM Studio来运行千问模型。

LM Studio并没有开源，但是可以免费使用，他是目前本地进行模型测试最好的工具了。

在这里，依然使用Windows 10进行部署和测试，没有GPU。

注意：LM的运行速度相比较Kobold两者差不多，而且也提供WEB服务，稍后也研究下他的API功能，LM的功能更多一些有待开发。

我们要从这里选择需要的模型。其他模型资源如下：

本次部署，我们依然选择4B，当然还是选择了GGUF格式，稍后我还要部署到服务器端。

双击 LM Studio setup.exe，稍等片刻，它会自动安装到C盘，可以挪走，也可以不动。

我们先把已经下载好的本地模型，放到它指定的目录下，否则就无法加载模型，其中有两个文件夹第一次可能需要手动建立Publisher和Repository，他俩是上下级关系。

C:\Users\Administrator\.cache\lm-studio\models\Publisher\Repository

将我们需要用的模型拷贝进来

重启后，我们就可以去查看自己的模型了。

D:\LM-Studio\models\Publisher\Repository
#新建Publisher和Repository

在选择模型的时候，只选择到 models这一级就可以了，多选无效。

由于时间问题，稍后再做整理和测试。

Kobold和LM Studio各有千秋吧，一个是简单，另外一个就是功能多。所以在使用的时候我们可以根据自己的需求来选择。