笔记本跑大模型尝试

1，笔记本电脑资源

我是一台联想笔记本电脑，基本配置如下：

CPU：12th Gen Intel(R) Core(TM) i7-1255U   1.70 GHz  (12核心，2个P核和8个E核，共计10个核心)

显卡：NVIDIA GeForce MX550

内存：40.0 GB

操作系统：Windows 10 专业版

想初步评估下用LM studio下载一个本地大模型运行试试看。

2.下载LM studio及大模型参数

直接到LM的网站下载

LM Studio - Discover, download, and run local LLMs

之后直接安装，安装完成后，可以查看配置：

下载大模型参数：

如上，结果没有出现大模型的列表，提示：

There was an error fetching results from Hugging Face, please try again in a little bit

这个应该是无法访问 Hugging Face，直接浏览器访问：huggingface.co

果然无法访问，那应该是网络屏蔽了， 科学上网试试，果然就可以了。

之后LM studio就可以看到大模型列表了，下载一个8B的deepseek的模型：

deepseek-r1-distill-llama-8b-abliterated

速度很快就下载完成。

3. 加载大模型

下载完成后，直接默认加载，加载部分后，提示错误：

Failed to load model

unable to allocate backend buffer

问大模型，告知可能原因：

1. 内存不足
2. 显存不足
3. 模型损坏
4. 驱动或库不匹配
5. 软件问题等

为了确保模型文件OK，再下载了一个模型：

deepseek-r1-distill-qwen-7b

完成后，选择一个加载。

默认配置如下加载

加载到35%左右，会提示失败：

这个一般是内存不足了(也有可能是模型数据有问题，但我是直接下载后执行的，不是拷贝过来的，而且下载了两个模型都提示这个，所以应该就不是这个问题)。

修改下参数，如下：

之后就加载成功了，完成之后，可以提交问题。

4. 选择大模型运行

对话框提交一个问题：

在此期间，内存基本保持4.5GB，在thinking问题时，CPU保持在33%左右。

回答问题的时间：

回答时间长，而且回答非常简短，参考意义不大，同样的问题提交给文心一言，3S内给出答案，比较全面，如下：

5.总结

我的笔记本资源还算可以，内存40G，独立显卡，12核CPU，这样的配置部署一个本地7B的本地大模型，计算速度太慢了，资源占用也比较大，一个简单问题，明显CPU的风扇声音就起来了，由此看出哪怕是小参数的大模型，对硬件要求也是很高的，显存不大的电脑，还真运行不了。