[针对于个人用户] 显卡与计算卡性能对比表

笔者使用 Quadro M4000 显卡用于 LLM 相关任务，但奈何该卡发布的年代过于久远，以至于 LLM 相关任务只能使用例如：Phi3 mini、Qwen 2 2B、GLM 4 8B 以及 Gemini v2 2B等小参数模型，且速度不堪理想，也经常因为显卡过热降频导致对话效率低下。

对于家用而言，不会去考虑那些特别新的 Tesla 计算卡，而会考虑一些旧的大显存平台，最好是大于10 GB 的显存，这样可以跑一些经过量化的、参数量高一些的模型。对于计算相关，推理相关的更应注重FP16的计算能力，如果有微调需求，同时也应注重FP32的计算能力。

最近总想着置办一张计算卡用于 Homelab 的 LLM 应用，但是市面上的计算卡/显卡种类太多了，有的时候不晓得要看哪一张显卡，故从TechPowerUp 网站摘录下表，以供参考。

显卡型号	Chip	Released	VRAM	Bandwidth	BF16	FP16	FP32	FP64	TDP (W)
Quadro M4000 (现役)	GM204	Jun 29th, 2015	8 GB GDDR5	192.3 GB/s	Nan	Nan	2.573 TFlops	80.39 GFlops	120
Tesla P4	GP104	Sep 13th, 2016	8GB GDDR5	192.3GB/s	Nan	89.12 GFlops	5.704 TFlops	178.2 GFlops	75
Tesla P40	GP102	Sep 13th, 2016	24GB GDDR5	347.1 GB/s	Nan	183.7 GFlops	11.76 TFlops	367.4 GFlops	250<