本地部署DeepSeek全攻略:Ollama+Chatbox保姆级教程

目录

缘起

为什么需要本地部署?

硬件要求建议:

下载Ollama

安装准备

选择对应的平台下载

下载完成点击安装 install

安装完成后验证

win + r打开运行窗口

输入cmd打开命令行窗口

输入ollama,看到有这些输出就代表安装ollama成功啦

下载模型deepseek

DeepSeek

选择对应的模型【对应电脑的运行内存】

查看电脑运行内存

在屏幕最下方任务栏处点击右键,打开任务管理器

选择性能【当前内存为27.7G】

对应步骤2,选择模型,我这里以14b演示,点击复制

在命令行中输入

等待下载完成

成功啦!

体验一下吧【CPU内存拉满哈哈哈】

下载chatbox

官网

安装

打开chatbox

左下角设置,选择ollama

选择模型

试试吧【卡爆了兄弟们】

开始使用吧

疯言峰语💌

做了一些人生的规划

还有一点感悟想分享一下🍕


缘起

最近DeepSeek可是火出了圈,推理像是解剖了我一样😜

为什么需要本地部署?

  • 官网服务高峰期响应延迟(实测>15秒/响应)

  • 隐私保护需求(医疗/财务等敏感对话场景)

  • 定制化开发需求(结合本地知识库微调)

硬件要求建议:

模型版本最低内存推荐配置推理速度(CPU)
7B8GBi5+16GB5-7 tokens/s
14B16GBi7+32GB2-3 tokens/s
34B64GB工作站+GPU需CUDA加速

💡 实测数据:i7-12700H+32GB DDR5运行14B模型,单轮对话响应时间约45秒

那我们搭建到本地吧💮

flechazohttps://www.zhihu.com/people/jiu_sheng废话不多说✌️,直接开始吧

下载Ollama

安装准备

官网下载

选择对应的平台下载

下载完成点击安装 install

安装完成后验证

win + r打开运行窗口

输入cmd打开命令行窗口

输入ollama,看到有这些输出就代表安装ollama成功啦

下载模型deepseek

DeepSeek

下载链接

选择对应的模型【对应电脑的运行内存】

查看电脑运行内存

在屏幕最下方任务栏处点击右键,打开任务管理器

选择性能【当前内存为27.7G】

对应步骤2,选择模型,我这里以14b演示,点击复制

在命令行中输入

ollama run deepseek-r1:14

等待下载完成

成功啦!

体验一下吧【CPU内存拉满哈哈哈】

下载chatbox

官网

下载链接

安装

打开chatbox

左下角设置,选择ollama

选择模型

试试吧【卡爆了兄弟们】

开始使用吧

开森😎

疯言峰语💌

最近自己也做了一些调整

做了一些人生的规划

当然啦!终极理想是躺平啦哈哈哈哈🤩

第一阶段:食物自主

第二阶段:能源自由

第三阶段:空中机动

第四阶段:机甲附体

第五阶段:本地AI中枢

不知道自己能不能坚持下去呢

加油!

小柴✨

还有一点感悟想分享一下🍕

人们总是对未知的事情充满期待,对确定的事情嗤之以鼻。

股市:追涨杀跌

爱情:追求新鲜

金钱:一夜暴富

能力:眼高手低

工作:天天画饼

哈哈哈哈🤯

意思是说人们总是想不劳而获总是看到那些暴富的少数人🍔

这里我举个例子:当前财富:1 | 持之以恒 24 * + | 一夜暴富 13 * + / 7 * -

第几年持之以恒(2%/年)一夜暴富(+-10%/年)
111
21.021.1(+)
31.0401.21(+)
41.0611.089(-)
51.0820.980(-)
61.1041.078(+)
71.1261.185(+)
81.1481.304(+)
91.1711.174(-)
101.1951.056(-)
111.2181.152(+)
121.2431.278(+)
131.2681.406(+)
141.2931.265(-)
151.3191.139(-)
161.3451.253(+)
171.3721.378(+)
181.4001.516(+)
191.4281.667(+)
201.4561.834(+)
211.4851.652(-)
221.5151.486(-)
231.5451.337(-)
241.5761.203(-)

所以有必要投机取巧吗?当然不排除投机取巧致富的也大有人在

那为什么我们不能分仓呢?8成稳定2成投机

坚持🍳

持之以恒

稳定!多好!

睡了

晚安

🛏️

### 使用OllamaDeepSeek框架实现聊天框 #### 聊天框架构设计 为了构建基于 OllamaDeepSeek 的聊天应用,需考虑客户端和服务端的设计。服务端负责处理自然语言理解 (NLU),意图识别以及响应生成;而客户端则专注于用户界面展示与交互逻辑。 #### 依赖库安装 首先,在项目环境中安装必要的 Python 库来支持这两个框架的功能: ```bash pip install ollama deepseek flask ``` #### 初始化模型实例化 创建应用程序入口文件 `app.py` 并初始化所需的语言模型对象: ```python from flask import Flask, request, jsonify import ollama as olm import deepseek as dsk # 加载预训练好的对话管理器 conversation_manager = olm.ConversationManager() intent_classifier = dsk.IntentClassifier() app = Flask(__name__) ``` #### API接口定义 定义 RESTful 风格的 HTTP 接口用于接收前端发送的消息并返回相应的回复内容: ```python @app.route('/chat', methods=['POST']) def chat(): user_message = request.json.get('message') # 对输入消息做初步清理 cleaned_msg = preprocess(user_message) # 利用 DeepSeek 进行情感分析及意图分类 sentiment_score = dsk.analyze_sentiment(cleaned_msg)[^1] intent_result = intent_classifier.predict([cleaned_msg])[0] # 更新会话历史记录并向用户提供反馈 response_text = conversation_manager.reply( message=cleaned_msg, context=intent_result['context'], emotion=sentiment_score ) return jsonify({"response": response_text}) ``` #### 前端HTML页面集成 最后一步是在 HTML 文件中嵌入 WebSocket 或轮询机制以便实时更新聊天窗口内的信息流: ```html <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>Chatbot</title> <script src="https://code.jquery.com/jquery-3.6.0.min.js"></script> <style type="text/css"> /* 添加一些简单的样式 */ </style> </head> <body> <div id="messages"></div> <input type="text" id="input"/> <button onclick="sendMessage()">Send</button> <script> function sendMessage() { var msg = $('#input').val(); $.post("/chat", JSON.stringify({ "message": msg }), function(data){ $("#messages").append("<p>" + data.response + "</p>"); }); } </script> </body> </html> ``` 通过上述代码片段展示了如何利用 OllamaDeepSeek 实现一个基本功能完备的在线客服系统原型。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

FlechazoCLF

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值