LLama factory 硬件估算

硬件依赖估算表说明

这张表描述了在训练或推理不同规模的大模型（如 7B、13B 参数模型）时，所需硬件的显存需求（单位：GB）。估算值的含义是根据不同方法（如全参数训练、部分冻结、低秩适配等）的训练设置，对显存的需求进行预估。

---

表中内容解释

主要列

• 方法：训练或推理时使用的优化技术或方法。
  • Full：全参数训练，所有参数都参与更新，显存需求最高。
  • Freeze：部分参数冻结，仅更新部分参数（如最后几层）。
  • LoRA/GaLore/BAdam：低秩适配（Low-Rank Adaptation）等方法，仅训练部分参数以降低显存需求。
  • QLoRA：量化低秩适配，结合低比特量化（如 4-bit、8-bit）进一步减少显存消耗。
• 精度：计算精度。包括：
  • AMP：自动混合精度（