如何搭建一个属于自己的本地大模型

当今世界上，最最流行的莫过于各种各样能力非凡的大模型了。

今天我用最通俗的方式带领大家尝试在本地搭建起一个属于我们自己的大模型。

想要在本地电脑上运行大模型，有两大要素。

一、我们需要下载可运行的大模型源码。

https://huggingface.co/是是最近非常火爆的一个人工智能社区，里面有海量的开源大模型。想要访问需要结合一点魔法。我们可以在这个社区查找大模型。

也可以直接在工具的市场上下载（需要修改下载地址，见后续讲解）

这里我提供几个国内的模型。大家可以直接使用。

我用夸克网盘分享了
链接：https://pan.quark.cn/s/d2efdfc2ae89

更多模型可关注公众号#寇得贝特

二、我们需要一个运行大模型的工具

LM Studio - Discover, download, and run local LLMsg

官网可以直接访问。下载安装后即可使用。

首页是各种支持下载的大模型。由于wall的原因无法直接下载，需要配置代理镜像地址。

 用hf-mirror.com替换huggingface.co/

我们需要先点击downloaded,开启一条下载记录。然后用everything 搜索 “cache\lm-studio”找到目录

downloads.json会出现一条下载记录，下载记录中配置的地址为huggingface.co，我们全部替换为hf-mirror.com

再回到工具首页，重启软件后即可开始下载。

如果不知道该如何修改配置。也可以使用我们之前提供的模型，先进行尝试。

将模型放置到指定路径

路径扫描规则，在My Models页面可以看到模型文件存放的根目录。根目录是可以修改的点击change按钮进行修改

D:\LMStudioModel\models\publisher\Repository

在根目录下，创建\models\publisher\Repository路径，将gguf后缀的模型放置到路径下，即可在LMStudis工具看到我们的模型。

在AI Chat页面，选择我们的模型，即可开始模型的对话。