qq_56558214的博客

对于家养服务器购买建议是, 不要直接买准系统, 只买原装的主板和电源就够了, 机箱和风扇自己DIV, 因为原装考虑到原工作场景, 给2U机箱的体积和高度有限, 四颗高功率CPU散热会出问题, 原装采用的是几个暴力工业风扇解决, 小风扇配滚珠轴承声音非常尖锐而且还吵, 因此机箱和风扇建议自己DIV, 买4U的通用机箱增加高度, 然后换更大号的静音磁悬浮风扇来解决噪声问题.与exo项目不同的是, 他使用的是树形结构, 根节点将模型的所有切片分发给 worker 节点。左下是并行, 右下是llamacpp。

本文将演示如何在笔记本上运行千亿级模型，后端 Koboldcpp 运行在 Ubuntu ，前端界面使用安卓手机通过 Termux 且使用 SillyTavern 进行连接，模型使用 104B 的的 Q4KM 量化，以及 123B 的的 Q3KM 量化作为演示，两者模型的性能强悍，中文表现良好，可匹敌早期的 GPT-4-0314。

本人使用的是UEFI，首先找一块未分配的空闲空间, 分配50G左右的预留空间用来存放ubuntu，如果该硬盘上没有efi启动引导盘符，则还要分配1G大小的盘符用来作为启动引导盘，本人已经有一个837MB大小的efi的boot引导盘, 后续win和ubuntu的启动引导信息都会被放在这里，这里选择下图未分配的51.12G空间, 选择新建简单卷, 一路下一步即可，efi的引导盘同理。Win端使用SSH可使用NxShell，安卓端可使用Termius，或者直接终端使用ssh都行，根据个人习惯而定，这里不多赘述。

首先模型选择GGUF格式, 选择Q4_K_M或Q5_K_M量化手机内存8~12G或以上均可尝试, 参数一般选择7~13B以下是模型推荐及其大小, 需根据手机内存实际情况选择:Hermes-2.5-Yi-1.5-9B-Chat-i1-GGUF (中文模型, Q4量化5.33G, Q5量化6.26G)Qwen2-7B-Multilingual-RP-GGUF (中文模型, Q4量化4.68 G, Q5量化5.44 G)

也是为了符合题目要求，先考虑初步的思路，目前只考虑在data数组中已元素且在此之前还没有进行任何addAll和multAll操作的情况，此时再开始进行加与乘操作，如果想在。，因此相较于费马小定理的快速幂，可以更快的得出逆元，本题在append函数实现求逆操作并整合到data中，并且在getIndex中获取。，这里的t就是本题要求的逆元，同样采用递推的思路来减少时间和空间开销，为了实现递推，可以设。，会无法通过本题，对于值溢出的情况，需要在每次涉及到运算的地方取模。