Accelerate之大模型显存计算

大模型显存计算

在探索要在您的机器上使用的潜在模型时，一个非常困难的方面是了解在您当前的显卡下，多大的模型可以放入内存（例如将模型加载到 CUDA）。

为了帮助缓解这个问题，🤗 Accelerate 提供了一个 accelerate estimate-memory 的 CLI 接口。支持搜索可以在 timm 和 transformers 中使用的模型。

这个 API 会将模型加载到 `meta` 设备的内存中，所以我们实际上并没有下载并将模型的全部权重加载到内存中，我们也不需要这样做。因此，测量 80 亿参数模型（或更多）是完全可以的，而不必担心您的 CPU 是否能够处理它！

Gradio 演示

以下是一些与上述内容相关的 gradio 演示。第一个是官方的 Hugging Face 内存估计空间，直接利用了 AccelerateHF space。

一位社区成员做了一些改进，并查看在给定 GPU 限制和 LoRA 配置的情况下是否可以运行特定的 LLM。请参阅HF space了解更多细节。

</