目前大模型应用如火如荼,各大LLM如Deepseek
也都提供了在线的助手服务,结合mcp-server
还可以进一步拓展到本地的工具能力。
但对于一些和本地业务和数据强相关的资料,在线的大模型训练数据集一般并不能涵盖,特别还有一些敏感或对安全要求很高的数据,使用在线大模型并不现实。所以我们个人应用和实际工作中,本地部署大模型并加入本地知识库也是一个刚性需求。
本文就记录下在WSL中通过Ollama和CherryStudio搭建本地大模型,并将本地模型集成到VsCode的AI助手的过程分享。
Ollama简介
Ollama 是一个基于Go 语言开发的简单易用的本地大语言模型运行框架,专为在本地机器上便捷部署和运行大型语言模型(LLM)而设计。Ollama 是 Omni-Layer Learning Language Acquisition Model(全方位学习语言接受模型) 的简写。
Deepseek本地模型及运行配置
Deepseek目前根据本地部署包含的参数集大小,又包含 1.5B 到 671B 等多个版本,参数集越大则AI越智能,但相应地对硬件要求则越高。
一般对应不同deepseek模型版本,推荐的硬件配置如下:
模型型号 | CPU | 内存 | 硬盘 | 显存 | 适用场景 |
---|---|---|---|---|---|
DeepSeek-R1-1.5B | <