本地部署Ollama与DeepSeek R1：安装、优化与应用实测

程序猿李巡天

于 2025-02-27 10:41:42 发布

阅读量2k

点赞数 9

文章标签：信息可视化数据分析大数据 excel 人工智能

本文链接：https://blog.csdn.net/m0_59235945/article/details/145897537

版权

Ollama 是一款本地大语言模型（LLM）运行工具，支持用户在本地设备上下载、管理和运行 AI 模型，而无需依赖云端服务。它提供简单的命令行接口，支持 DeepSeek R1、Llama 等多种开源模型，并可结合 GPU 加速，实现高效推理。Ollama 适用于 离线 AI 交互、代码补全、文本生成 等应用场景，是本地 AI 部署的理想选择。

安装Ollama

下载安装Ollama，到官网https://ollama.com/download/windows下载对应的安装包，默认安装。

安装成功后，在cmd中输入ollama --version检查安装是否正确，提示版本号表示安装成功。

安装ChatBoxAI

ChatBoxAI 是一款开源的多功能 AI 聊天助手，支持本地和云端大语言模型（LLM），允许用户与 AI 进行交互。它兼容 Ollama、GPT-4、Claude、Mistral 等多种模型，并提供插件扩展、消息存储、自定义指令等功能。ChatBoxAI 适用于日常聊天、编程助手、知识查询等场景，界面简洁，支持多平台使用，是本地 AI 聊天应用的理想选择。

安装ChatBoxAI，到官网https://chatboxai.app/zh下载对应版本软件安装。

硬件信息检测

查看本机配置，自己知道什么配置最好，如果不知道，用鲁大师，CPU-Z，

DeepSeek R1

DeepSeek R1 是 DeepSeek AI 推出的开源大语言模型，专注于增强推理、编程和数学能力。它提供 14B（140亿参数） 和 32B（320亿参数） 两种版本，支持 中英文对话、代码补全、逻辑推理 等任务，并优化了思维链（CoT）推理能力。DeepSeek R1 兼容 Ollama、vLLM、TGI 等推理框架，可在本地部署，适用于 离线 AI 交互、编程辅助 和 自然语言处理（NLP） 任务。

在Ollama主页找到DeepSeek R1，版本选择32b，其实我这电脑也就跑到14b，可以安装一下试一下每秒多少token。

复制32b对应的安装代码，在cmd中输入ollama run deepseek-r1:32b，从服务器摘取模型，32b，大概20G左右需要下载一会儿：

下载LLM Stadio：

实践证明32b跑不起来，差不多1-2个token，没法用。

再下个14b:ollama run deepseek-r1:14b

安装Cuda/cnDNN

本地运行大模型（如LLaMA、ChatGLM、Stable Diffusion等）通常需要强大的计算能力，而显卡（GPU）是关键组件之一。要充分利用显卡的计算能力，通常需要 CUDA 和 cuDNN 进行加速。

CUDA 的作用

CUDA（Compute Unified Device Architecture）是 NVIDIA 专有的并行计算平台，它允许开发者利用 GPU 进行通用计算（GPGPU）。深度学习框架（如 PyTorch、TensorFlow）通常基于 CUDA 进行计算加速：

CUDA 提供 GPU 编程接口，使得软件（如 PyTorch）可以直接调用 GPU 进行计算，而不是依赖 CPU。
核心库（cuBLAS、cuFFT、cuSPARSE 等）：加速矩阵运算、傅里叶变换、稀疏矩阵运算等，都是大模型计算的关键部分。

cuDNN（CUDA Deep Neural Network Library）的作用

cuDNN 是 专门为深度学习优化的 NVIDIA 库，它在 CUDA 之上提供了一组高效的 GPU 计算优化：

优化神经网络计算：cuDNN 针对 卷积（Convolution）、池化（Pooling）、归一化（Normalization）、激活（Activation） 等操作进行了高度优化，使得大模型的推理和训练更加高效。
减少手写 CUDA 代码的需求：开发者不需要手动优化 CUDA 代码，cuDNN 提供了一套标准的 API，供 TensorFlow、PyTorch 等深度学习框架直接调用。

检查本机是还正确安装了cuda，在cmd下输入nvcc --version，如果正确显示版本信息，就说明正确安装。

在cmd下输入nvidia-smi，可以显示当前的显卡适配cuda的最高版本，可到官网下载对应版本cuda，最高支持cuda12.6，我下载的是12.3版，下载地址：

https://developer.nvidia.com/cuda-toolkit-archive

再安装cuDNN，下载地址：

https://developer.nvidia.com/zh-cn/cudnn

cuDNN下载时需要使用Nvidia开发者帐号，按要求注册一个，就可以正常下载。下载成功后，解压缩到cuda安装目录。我电脑cuda位置是C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.3

把cuDNN下载的包解压缩至这个目录就可以了。安装成功后，再测nvcc -V，可以看到版本信息。

配置好cuda，ollama运行时，GPU就会占用一部分。

cpu、gpu、内存均被占用。

配置ChatBox

在chatbox设置里模型提供方选Ollama api，模型中选择deepseek r1:14b或者选8b，保存。

来个测试，2024年高考数学二最后一道大题，看他能不能解出来。

本地版不支持多模态，用gpt把它转成文字：

再让它来解答，deepseek r1有个思维链，显示思考过程。我的电脑不太行，这个思考过程让我等不到他思考结束。

思考一会，还会发现自己算错了，再去找那里错了，修改后再去计算。可能这个模型不太适合进行数学计算，我把这个题发到在线的，看它能不能解出来。

在线的不能提供服务：

把同样的题给chatgpt，似乎很快得出结果：

具体结果不做展示。

编代码能力

1. Cline 插件

Cline 是 VS Code 上的一款插件，主要用于 代码补全 和 智能代码生成，可以通过 Claude AI 提供更强大的代码补全、解释和优化能力。

特点：

基于 Claude AI：由 Anthropic 公司的 Claude 模型驱动，支持高级代码补全。
上下文感知：可以根据当前代码环境提供智能补全建议。
自动生成代码：能够帮助编写函数、类或者完整代码片段，提高开发效率。
可选 AI 代理：支持交互式 AI 助手，帮助理解代码逻辑、优化性能。

安装方式：
在 VS Code 扩展市场 搜索 Cline，安装后登录 Anthropic Claude 账号 即可使用。

当然Cline也支持本地的Ollama模型，在设置中选择API Provider选择Ollama，Model ID选择能用的模型，就可以进行代码补全操作。

使用 Deepseek r1:8b模型，回答质量很差，基本办法使用。

这个插件再试一下调用官方api试一下效果。

最近Deepseek大火，官网上不去，现在硅基流动提供DeepSeek api服务，免费送2000万token额度。注册地址：

https://cloud.siliconflow.cn/i/JPgtFsMs

或者使用我的邀请码：JPgtFsMs。

注册好帐号，创建API密钥：

CLine设置如下：

模型提供商为OpenAU兼容，baseURL为https://api.siliconflow.cn/v1，模型ID，复制下面的ID。

为：deepseek-ai/DeepSeek-R1，保存。测试一下满血的R1。

可以使用，速度不快。不知道什么原因一直卡，可能是网络原因，也可能是使用的人比较多。

2. Continue 插件

Continue 是一款开源的 VS Code 插件，提供 AI 辅助编程，支持多种 AI 模型（如 GPT-4、Claude、Llama 2、Mistral 等），可以用于代码补全、调试、解释和优化。

特点：

支持多个 AI 模型：可以选择 OpenAI、Anthropic、Llama 2 等不同模型。
代码改进与修复：可以分析代码并建议优化方案，帮助修复 bug。
多语言支持：支持 Python、JavaScript、C++、Go 等多种编程语言。
自定义 AI 助手：可自定义提示词，让 AI 适应个人编码风格。
聊天交互：直接在 VS Code 侧边栏打开 AI 对话，询问代码问题或生成代码。

安装方式：
在 VS Code 扩展市场 搜索 Continue，安装后配置 API Key（如 OpenAI API 或本地 AI 模型）。 VS Code安装continue插件：

插件安装成功后，选择ollama，会自动填加本地的ollama模型。

在模型下拉中选上8b。

同样的问题，在continue插件上速度比较快，很快出你想要的东西，不卡。

提出修改意见，也能很快修改。

使用过程，8g显存占用7.1g，运行比较流畅，可以放在内网环境做为代码助手。

又使用了contiune的硅基流动千问32b，也比较流畅。

这2个插件推荐使用Continue，本地ollama和deepseek api均可。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述