【AI】DeepSeek本地部署,Ollama + vscode + Continue,实现本地运行LLM大模型,以及代码自动补全

相关链接

Ollama
Ollama Models
Ollama相关api
VsCode下载

Ollama

安装ollama

Ollama 是一个开源的本地大语言模型运行框架,专为在本地机器上便捷部署和运行大型语言模型(LLM)而设计。
Ollama 支持多种操作系统,包括 macOS、Windows、Linux 以及通过 Docker 容器运行。
Ollama 提供对模型量化的支持,可以显著降低显存要求,使得在普通家用计算机上运行大型模型成为可能。

在这里插入图片描述

配置ollama models下载地址

默认会下载到系统盘
在这里插入图片描述

下载Model

ollama官网的models中搜索,只要在上面能搜到的Model都能通过命令下载到本地

# 下载命令和运行命令一样
ollama run xxx

在这里插入图片描述
在这里插入图片描述
Success! 默认端口号为11434
http://localhost:11434
如果要更改端口号,到环境变量中添加或更改OLLAMA_HOST
也可以通过接口访调用,以下为相关api👇
https://ollama.cadn.net.cn/api.html

Continue接入VsCode

安装continue插件

在这里插入图片描述

添加模型

在这里插入图片描述

打开配置文件

在这里插入图片描述
或者直接在设置中配置
在这里插入图片描述

配置项

配置models,如果有代码补全需求,添加tabAutocompleteModel配置
在这里插入图片描述

预告:RAG,知识库

在这里插入图片描述
在这里插入图片描述


print("有一种英雄主义就是当我们看清社会的真相以后,依然选择要热爱生活,珍惜生命。")
print("不让别人烦恼是慈悲,不让自己烦恼是智慧")
### 如何在本地环境中部署 DeepSeek-Ollama 和 ChatWise #### 准备工作 为了成功部署 DeepSeek-Ollama 和 ChatWise,需先确认环境配置满足最低需求。通常情况下,这包括安装 Python 解释器以及必要的依赖库。 #### 下载所需软件包 访问官方仓库获取最新版本的 DeepSeek-Ollama 和 ChatWise 安装文件。确保下载适用于当前操作系统的二进制文件或源码压缩包[^1]。 #### 配置开发环境 创建一个新的虚拟环境来隔离项目所需的Python包: ```bash python3 -m venv myenv source myenv/bin/activate # Linux/MacOS myenv\Scripts\activate # Windows ``` 接着安装依赖项: ```bash pip install -r requirements.txt ``` 此命令会读取 `requirements.txt` 文件中的列表并自动安装所有必需的第三方模块。 #### 启动服务端口 启动应用程序之前,可能需要编辑配置文件以适应个人网络设置或其他偏好选项。完成这些调整后,可以通过如下方式启动服务器: 对于 DeepSeek-Ollama: ```bash python app_ollama.py ``` 而对于 ChatWise,则执行: ```bash python chatwise_server.py ``` 一旦程序正常运行,终端应当显示出提示符 (`>>>`) 表明已准备好接收输入指令[^2]。 #### 测试连接 打开浏览器窗口,导航至 http://localhost:指定端口号 地址查看Web界面是否加载成功。如果一切顺利的话,现在就可以开始与模型互动交流了! #### 数据安全性考量 值得注意的是,在使用此类开源模型的过程中,所有的交互记录都将保存于用户的本地机器上,从而保障了较高的隐私水平[^3]。 #### 可视化管理平台 除了基本的功能外,某些实现还提供了图形化的监控面板用于简化管理和调试过程。例如,ChatWise 支持多种流行的大规模预训练语言模型接口接入,使得开发者能够轻松切换不同类型的LLM实例进行实验测试[^4]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

@Dai

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值