在今天早晨我上班的时候我去问了ai一个问题,但是他对我的问答进行了限制,当然我问出这个问题的时候就是抱着测试的手段去问的,ai也不出意外的给了我一个拒绝,那么我就想办法用上越狱版本呗!,很多老玩家都知道苹果的越狱和这个都差不多,当然考虑到我的电脑gpu很低显存很低,我就跑了一个7b的版本,本来下午准备出一个8b版本的,但是我的小手机没带,导致不能下载(这里是指没流量了)
背景叙述完毕,下面开始我的叨叨叨:
这只是一个让你深刻理解大模型的基础的帖子(不喜勿喷,因为我也知道我写的不是很好)
先上电脑配置图:
很low的配置了,放在当下
过程滤过
我一连串问了几个问题发现都能回答出我的问题
但是我不想在cmd的控制面板当中去查看给我返回结果集,那么我就需要一个前端的页面,在我搞定前端页面的同时,我对他进行调教
在我对他调教的时候呢我发现,有很多不足的地方,因为只是一个4g嘛,能跑就不错了
然后呢就出现了以下的一幕
随后我开始琢磨究竟是为什么我的这个显存才4g能跑起来最少需要8g运存的项目
然后呢我就发现了这个总内存和专用gpu内存
简单叙述一下
可能大家不知道是什么意思看图所示:
如果实际的内存已经满了那么系统会共享其他的内存来帮助你完成这个任务,如果系统帮助你都还完不成的任务那么会造成内存崩溃,缺点就是很慢
大家可以看一下这个推理的分析过程
- 物理VRAM的定义:显卡的实际物理内存(VRAM)仅为4GB,这是显卡硬件本身的最大容量。
- 共享内存的机制:在某些情况下,系统可能会利用部分系统内存作为虚拟显存来扩展物理VRAM的功能。
安装准备
需要先下载ollama的程序在本机的电脑上
下载路径为:https://ollama.com/download/OllamaSetup.exe
安装好后打开cmd运行下载即可使用
下载命令
ollama run huihui_ai/deepseek-r1-abliterated:7b
ollama run huihui_ai/deepseek-r1-abliterated:8bollama run huihui_ai/deepseek-r1-abliterated:32b
ollama run huihui_ai/deepseek-r1-abliterated:621b
具体的下载就看各自的电脑配置,可以充分的利用共享内存的机制跑出满血版621b,前提是你的电脑硬盘足够多足够大,621的模型大概是190多g好像是,我认识的就一个做出来了