公众号:泷羽Sec-尘宇安全
前言
最近deepseek非常火,训练成本低,其预训练费用仅为OpenAI GPT-4o模型的不到十分之一,但是效果堪比OpenAI,使用深度思考,回答的问题很不错,啥都敢说
可惜惨遭ddos,导致官网注册用户都注册不了了,无法正常提供服务,不过我们可以进行本地部署,离线就可以使用,无需联网,即可本地使用。当然服务器多的,也可以在服务器上部署,这样大家都能用了。
如果嫌下载慢可以后台发送:deepseek
获取网盘下载地址
安装ollama
在官网点击Download下载对应系统的安装程序。
https://ollama.com/
如果C盘内存足够,可以直接安装
- 默认是安装到C盘的,如果你想安装到指定目录可以在安装程序目录上方输入CMD打开命令行窗口
在弹出的命令行窗口内输入:
setx OLLAMA_MODELS F:\chatgpt_all\ollama
来修改环境变量OLLAMA_MODELS
,将模型下载位置修改到F:\chatgpt_all\ollama
目录,你也可以改为其他容量比较大的磁盘下的目录
- 设置ollama服务启动配置:在弹出的命令行窗口内输入执行
setx OLLAMA_HOST 0.0.0.0
setx OLLAMA_ORIGINS *
之后默认一步一步安装即可
安装deepseek模型
之后来到ollama选择deepseek模型,第一就是
选择模型大小。正常情况下根据自己的显卡显存选择,比如显存8G就选择8B的模型
输入复制下来的命令
ollama run deepseek-r1:8b
等待一段时间,安装成功
其他命令
- 查看当前安装的模型:
ollama list
- 安装其他模型:在 https://ollama.com/library 上查询模型名称,执行
ollama run xx:xx
进行安装,如安装gemma2:9b模型,ollama run gemma2:9b
- 查询运行的模型:
ollama ps
查看一下安装的模型,之前因为线下的ctf比赛,就使用过离线的ai了,之前对比过觉得阿里云的qwen比其他的都要好用,等下将他和deepseek-r1对比一下
集成ChatGPT-Next-Web界面
安装
下载之后默认安装即可
https://github.com/ChatGPTNextWeb/NextChat/releases/
配置
打开ChatGPT-Next-Web界面 设置,进行基础配置:
- 配置服务商:选择Open Ai
- 自定义模型名:选择 deepseek-r1:8b
- 模型:选择 deepseek-r1:8b
- 接口地址:http://127.0.0.1:11434
关闭配置页面。所有工作已经完成, 可以试试在ChatGPT-Next-Web 里点击 新的聊天,来与大模型进行聊天了。
问题解决:
- ChatGPT-Next-Web无法聊天,提示
failed to fetch
: 可能是你没有执行setx OLLAMA_ORIGINS *
,或者是你搞乱了步骤,先安装了ollama,然后在执行环境变量设置后没有重启ollama.- 解决方法-查看环境变量是否正常:执行
set OLLAMA_ORIGINS
检查输出是否是OLLAMA_ORIGINS=*
- 解决方法-重启ollama,且重新打开新命令行窗口运行ollma run。
- 解决方法-查看环境变量是否正常:执行
- ChatGPT-Next-Web无法聊天,提示
gpt3.5tubo xxxx
: 选择模型有误,在聊天窗口点击模型切换按钮,选择qwen2:7b模型 - 模型运行缓慢:检查显卡是否正常
- 显卡检查:执行
nvidia-smi
查看显存占用和显卡使用情况
- 显卡检查:执行
对比qwen:7b和deepseek-r1:8b
由于是IT行业,所以就给一段漏洞代码让他们彼此分析一下,其实并不严谨,只供参考
给出下面的代码
分析下面代码的漏洞,给出利用步骤
<?php
//Multilingual. Not implemented yet.
//setcookie("lang","en.lang.php");
if (isset($_COOKIE['lang']))
{
include("lang/".$_COOKIE['lang']);
}
// Not imple