如何选择一个AI大模型的私家炼丹炉

      随着计算机图形处理技术的不断进步，NVIDIA作为图形处理器（GPU）的领先制造商，其推出的RTX系列消费级显卡在性能和技术创新方面均引起了广泛关注。依托这些消费级显卡性能的突飞猛进，AI炼丹师们也有望将大模型训练、推理等炼丹工作部署到个人计算机硬件上。

      下面我将对NVIDIA RTX 20、30、 40系列消费级显卡的技术特点进行对比，为各位有意投入AI炼丹的伙伴们提供参考。

      在说各系列显卡之前，先介绍一下两个核心技术，光线追踪技术（Ray Tracing，简称 RT）和深度学习超级采样技术（Deep Learning Super Sampling，简称DLSS）。

      RT技术是一种高度真实的渲染方式，它通过模拟光线的路径来计算其与环境内物体的相互作用，以此产生非常真实的光影效果。例如，在一个有光源的房间模型中，传统的光栅化渲染会计算房间各个面的亮暗程度，但不会考虑光线的反射、折射等真实世界中的光线行为。而光线追踪则能够模拟这些行为，使渲染出的房间看起来更加真实。

      而RT Core就是专为这一任务设计的硬件单元。它们能够加速光线与场景中物体相交的计算过程，以及处理复杂的光照和阴影效果，从而使得实时光线追踪在游戏中成为可能。

   

      DLSS技术则是一种利用深度学习算法来提升图像质量和性能的方法。它通过低分辨率的图像训练AI模型，然后该模型预测出高分辨率的图像细节，这一过程需要大量的计算资源，特别是在实时游戏和应用程序中，而这些计算任务正是由NVIDIA显卡中的Tensor Core完成的。

      Tensor Core是NVIDIA GPU中的专用执行单元，专为执行张量或矩阵运算而设计，这些运算是深度学习计算的核心。自Volta架构以来，Tensor Core已成为NVIDIA GPU的重要组成部分，极大地提升了GPU在深度学习任务中的峰值性能。

      DLSS的运算过程全部在Tensor Core内完成，因此不会占用显卡的CUDA核心，这有助于避免影响游戏的渲染性能和帧数。

      随着Tensor Core技术的不断进步，DLSS版本也在持续更新。例如，DLSS 3.5版本得到了超过350款游戏的支持，展示了Tensor Core的强大功能和DLSS技术的广泛应用。

      DLSS技术，就像是给游戏画面进行“智能修复”， DLSS就是一种利用AI来提升游戏画质和性能的聪明方法。

      你可以把DLSS想象成一个能够智能修复老旧照片的技术。比如你有一张分辨率不高的老照片，你想要让它看起来更清晰。传统的方法可能就是手动去描边、涂色，尽可能让照片看起来更细致。但DLSS就像一个拥有超能力的“AI修复师”，它能通过学习大量高清晰度的照片，然后自动帮你把模糊的地方变得清晰，而且速度还特别快。

      具体到游戏上，这个技术能让游戏在较低的分辨率下先渲染出图像框架，然后通过AI算法和NVIDIA的Tensor Core硬件加速，智能地填充细节，最终输出一个高分辨率的画面。这样既节省了计算资源，又保证了画面质量，甚至有时候经过DLSS处理的画面比原始画面看起来还要好。

      既然是预测，肯定会存在预测与实际不完全一致的情况，DLSS技术也不例外，但这种情况并不常见，且差距通常不大。虽然DLSS技术不是完美的，但它已经在很多方面取得了显著的进步，并且随着技术的发展，其预测的准确性和图像质量都有望进一步提高。

      除了以上两种技术核心，RTX显卡的还有一种CUDA核心。简单来说，它是GPU中的处理元件，负责执行用户通过CUDA编程语言编写的程序，专门用于执行并行计算任务。这些任务通常涉及大量的数据操作，如矩阵运算、图像处理和其他高性能计算任务。通过CUDA核心，用户可以同时处理多个数据点，这显著加快了计算速度，尤其是在处理大规模数据集时。

      那么，CUDA核心是如何工作的呢？在AI相关的应用中，用户的代码会通过AI框架（如PyTorch、TensorFlow等）调用CUDA库。然后，驱动程序将这些计算任务分配给GPU上的CUDA核心执行。这一过程实现了高度的数据并行性，使得复杂的计算任务得以高效完成。

      CUDA核心的优势在于其能够同时处理多个数据点，这显著加快了计算速度，尤其是在处理大规模数据集时。此外，CUDA核心与CPU的控制单元不同，它们更侧重于执行高度并行化的计算任务。相比之下，CPU的控制单元则更专注于通用计算和流程控制。

      Tensor Core是NVIDIA GPU中专门用于加速AI相关计算的核心，如深度学习训练和推理。与CUDA核心相比，Tensor Core提供了更高效的矩阵和张量运算能力。这意味着在AI任务中，Tensor Core更适合执行那些需要大量矩阵和张量运算的任务。

      Tensor Core更专注于深度学习相关的特定类型的计算，而CUDA则提供了一个更广泛的计算平台，适用于更多种类的并行计算任务。

      在AI大模型的应用中，显卡里的CUDA核心和Tensor核心共同起着关键作用。

      CUDA核心是GPU中的并行处理单元，它们的数量和效率直接影响到显卡处理大规模数据集的能力。CUDA核心能够同时执行多个计算任务，这对于大模型的训练和推理至关重要，因为它们需要处理大量的数据和复杂的数学运算。

      Tensor核心是专门为深度学习优化的核心，它们在执行矩阵和张量运算时更加高效。在大模型中，这些运算是非常频繁的，因此Tensor核心的性能对于提高训练和推理的速度至关重要。

      AI训练阶段通常涉及到大量的矩阵运算，如卷积、矩阵乘法等。Tensor Core在这一阶段尤为有用，因为它们能够提供比CUDA Core更高的运算速度和效率。

      AI推理阶段虽然Tensor Core同样能够提供加速，但CUDA Core也能够胜任部分推理任务。推理通常不需要像训练那么大规模的并行处理能力，因此CUDA Core的通用计算能力也能应对部分推理场景。

      例如，与前一代的Pascal架构相比，搭载了第一代Tensor Core的Volta架构在用于深度学习训练的峰值TFLOPS性能上提升了高达12倍，而在推理任务上的峰值TFLOPS性能提升了高达6倍。这一关键功能使得Volta架构在训练和推理性能上比Pascal架构提高了3倍。

      此外，显卡的内存容量也是一个重要因素，因为它需要存储大量的模型参数和中间计算结果。对于大模型来说，具有较大内存容量的显卡更受欢迎，因为它们可以处理更多的数据而不需要频繁地与系统内存交换数据。

      从图灵到安培再到Ada Lovelace，每一代NVIDIA RTX系列显卡的架构都在其前身的基础上做出了创新和提升，不断推动着图形处理技术的发展。

1. RTX 20系列（Turing图灵架构）：这是首次同时引入实时光线追踪技术（RT）和深度学习超级采样技术（DLSS）的GPU，标志着NVIDIA在图形处理技术上的一次重大突破。图灵架构专门设计了第一代RT Core和第二代Tensor Core，分别用于加快光线追踪计算和AI运算，为复杂的图形处理任务提供了强大的硬件支持。

2. RTX 30系列（Ampere安培架构）：在图灵架构的基础上进一步提升了性能和效率，特别是在光线追踪和DLSS性能方面有显著提升，搭载了更高效的第二代RT Core和第三代Tensor Core。采用了更高效的三星8nm制程技术，并在显存、核心数量以及整体功耗比上都有显著改进，这使得30系列显卡相比20系列在同等功耗下提供了更高的帧率和更好的图形质量。

3. RTX 40系列（Ada Lovelace架构）：全新的Lovelace架构，进一步提升光追核心和Tensor核心的性能，支持更复杂的光线计算场景和更高级的AI算法。此外，40系列包括DLSS 3等新技术，通过AI生成中间帧来提高帧率。Ada Lovelace架构带来了第三代RT Core和第四代Tensor Core，其中RT Core的性能提升使得光线与三角形求交性能提高了一倍，RT-TFLOP峰值性能也翻倍。