老显卡能否战大语言模型

1. Meta-Llama-3.1-8B-Instruct

TITAN X Pascal x 2  10.9 token/s  占用显存16.8G

4090  62.6 token/s 占用显存15.6G

2. Meta-Llama-3.1-8B-Instruct-GPTQ-INT4

TITAN X Pascal  10.4 token/s  占用显存6.5G

3060TI  50.4 token/s 占用显存5.6G

4090  85.0 token/s 占用显存6.2G

如果跑Meta-Llama-3.1-8B-Instruct需要一张大显存显卡，如果跑量化版本Meta-Llama-3.1-8B-Instruct-GPTQ-INT4一般显存显卡也能跑，TITAN X Pascal与1080TI相当，老显示卡也能战大语言模型，只是速度相对慢一些。