- 博客(5)
- 收藏
- 关注
RSS订阅原创 技术报告：在 4x Tesla P40 上训练 Llama-3.3-70B 大模型指南
本报告详细记录了在不支持 BFloat16 和 Tensor Cores 半精度加速（Pascal 架构）的老旧硬件（Tesla P40）上，成功训练 70B 参数量级大预言模型的技术方案。通过结合4-bit NF4 量化模型自动分片 (Model Sharding)以及纯 FP32 训练管线 (Pure FP32 Pipeline)，我们成功克服了硬件架构限制，实现了稳定训练。
2026-01-14 23:21:51
1026
原创 挑战纯CPU最低成本推理极限：四路E5服务器装机与模型优化(持续探索优化中)
对于家养服务器购买建议是, 不要直接买准系统, 只买原装的主板和电源就够了, 机箱和风扇自己DIV, 因为原装考虑到原工作场景, 给2U机箱的体积和高度有限, 四颗高功率CPU散热会出问题, 原装采用的是几个暴力工业风扇解决, 小风扇配滚珠轴承声音非常尖锐而且还吵, 因此机箱和风扇建议自己DIV, 买4U的通用机箱增加高度, 然后换更大号的静音磁悬浮风扇来解决噪声问题.与exo项目不同的是, 他使用的是树形结构, 根节点将模型的所有切片分发给 worker 节点。左下是并行, 右下是llamacpp。
2025-02-20 22:09:25
2229
3
原创 笔记本本地部署100b以上千亿级别LLM，并在手机端接入
本文将演示如何在笔记本上运行千亿级模型，后端 Koboldcpp 运行在 Ubuntu ，前端界面使用安卓手机通过 Termux 且使用 SillyTavern 进行连接，模型使用 104B 的的 Q4KM 量化，以及 123B 的的 Q3KM 量化作为演示，两者模型的性能强悍，中文表现良好，可匹敌早期的 GPT-4-0314。
2024-07-28 23:53:12
4113
原创 手机安装系统部署LLM的方法
首先模型选择GGUF格式, 选择Q4_K_M或Q5_K_M量化手机内存8~12G或以上均可尝试, 参数一般选择7~13B以下是模型推荐及其大小, 需根据手机内存实际情况选择:Hermes-2.5-Yi-1.5-9B-Chat-i1-GGUF (中文模型, Q4量化5.33G, Q5量化6.26G)Qwen2-7B-Multilingual-RP-GGUF (中文模型, Q4量化4.68 G, Q5量化5.44 G)
2024-07-16 17:30:41
2448
原创 LeetcCode困难题——奇妙序列扩展欧几里得算法解法
也是为了符合题目要求，先考虑初步的思路，目前只考虑在data数组中已元素且在此之前还没有进行任何addAll和multAll操作的情况，此时再开始进行加与乘操作，如果想在。，因此相较于费马小定理的快速幂，可以更快的得出逆元，本题在append函数实现求逆操作并整合到data中，并且在getIndex中获取。，这里的t就是本题要求的逆元，同样采用递推的思路来减少时间和空间开销，为了实现递推，可以设。，会无法通过本题，对于值溢出的情况，需要在每次涉及到运算的地方取模。
2023-12-03 23:13:04
1140
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人