![](https://i-blog.csdnimg.cn/direct/4d2cc9b5d3e042ba89481568b06d3d66.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
待整理
文章平均质量分 97
尚未整理
CarolineSpike
Love magic for itself.
I ain't never backin' down (come and step in the plate).
For my city for my town (I'll do whatever it takes).
展开
-
LLM - GPT(Decoder Only) 类模型的 KV Cache 公式与原理 教程
在 GPT 类模型中,KV Cache (键值缓存) 是用于优化推理效率的重要技术,基本思想是通过缓存先前计算的 键(Key) 和 值(Value),避免在推理过程中,重复计算 Mask 的 注意力(Attention) 矩阵,从而加速生成过程。原创 2024-08-27 16:36:52 · 531 阅读 · 0 评论 -
LLM - 使用 Joy Caption 模型 描述和打标 图像数据集 (Image Caption)
Joy Caption 模型 (由 Fancy Feast 研发) 在 SigLIP 和 Llama3.1 的基础之上,使用 Adapter 模式,训练出更好的描述图像的模型,需要与 SigLIP 和 Llama3.1 混合使用,输入图像,输出一段语义丰富的图像描述。原创 2024-08-27 16:19:04 · 455 阅读 · 0 评论 -
LLM - 从头开始实现 LLaMA3 的网络结构与推理流程 教程
LLaMA3 是 Meta 的最新大语言模型,在整体网络设计进行多项升级,显著提升了模型的性能和效率,重要的改进:词汇量增加至 128k 个;使用 RMS Normalization,即 根均方正则化;使用 旋转位置编码 RoPE;使用 Grouped Query Attention,即 分组查询注意力,Head 是 32,分成 4 组,即 8 个 KV Head;使用 SwiGLU Feedforward Network,即 SwiGLU 前馈网络。原创 2024-08-23 12:41:53 · 814 阅读 · 0 评论 -
LLM - 微调(Fine-Tuning) Llama3 以及合并微调模型 教程
在微调 Llama3 大模型时,需要注意一些事项:合适的预训练模型、合适的微调方法、数据集的选择、防止模型过拟合、计算资源管理、超参数调整、监控和评估,这些注意事项可以更有效地微调大模型,提高其在特定任务上的表现。原创 2024-08-15 12:20:47 · 732 阅读 · 0 评论