- 博客(3)
- 资源 (1)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 将transformer权重参数文件转化为gguf文件以适用于Ollama客户端
convert-hf-to-gguf.py 只支持“decoder-only 自回归”架构，比如 LLaMA、Mistral、Gemma、Phi 等。这会下载 config.json、tokenizer.json、model-000xx-of-000xx.safetensors 等文件。必须用 llama.cpp 官方脚本，不要随便用其他脚本，否则 GGUF 结构不对，Ollama / llama.cpp 跑不起来。--outtype：f16 / bf16 / q8_0 等，f16 先保真，后面再量化。
2026-05-26 19:32:37
186
原创 在windows10 系统上如何通过python语言部署一个本地的Llama3-8b-instruct大模型
硬件 规格 评估CPU Ryzen 7 9700X 8核 3.8GHz ✅ 充足内存 32GB DDR5 ✅ 充足GPU RTX 5060 Ti 16GB VRAM ✅ 可运行8B模型微调关键考量：Llama3-8B FP16 约需 16GB 显存，几乎占满 VRAM。因此推理和微调均需使用 4-bit 量化（QLoRA），将显存占用降至 ~6-8GB，留出空间给 KV Cache 和梯度计算。
2026-05-19 22:10:58
356
原创 大模型参数量及其单位的概念
RoBERTa-Base模型的参数量比BERT-Base模型的参数量稍多一些，这是因为RoBERTa引入了一些额外的层和参数，比如用于动态调整模型输入的句子顺序的“动态遮蔽”（dynamic masking）策略。- 999个特殊的token，如 `[UNK]`（未知词）、`[PAD]`（填充）、`[CLS]`（分类任务的句子开始标志）、`[SEP]`（序列分隔符）、`[MASK]`（掩码，用于遮蔽语言模型任务）：表示十亿（Billion）。同样地，在模型参数量的上下文中，"B"指的是十亿个参数。
2024-07-21 10:04:37
4391
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人