大模型是怎样存储训练数据的

‌大模型在训练过程中并不直接存储训练数据，而是存储训练后的模型参数和知识‌。
在大模型的训练流程中，首先会进行数据的收集与预处理，这些数据来自各种来源，如互联网、书籍、文章等，经过去除噪音、标准化、分词等步骤后，用于模型的训练。然而，模型在训练时并不是简单地将这些数据保存起来，而是通过训练过程学习数据的特征和规律，并调整模型参数以反映这些特征和规律。
具体来说，大模型的训练从词嵌入开始，将文本中的每个token（如单词、子词、字符等）映射到一个高维向量空间中，这个向量称为嵌入向量。模型通过训练数据学习如何调整这些向量的值，以使它们能够反映更多的语言规律和语义特征。训练完成后，模型会保存这些学习到的参数，而不是原始的训练数据。
此外，大模型在训练过程中还会通过不同的方式重复学习同一个知识点，以确保模型能够真正学会并泛化这些知识。这些学习到的知识和规律被存储在模型的参数中，用于后续的模型推理和预测。
在存储模型时，通常会选择特定的格式，如pkl或pth等，以保存模型的架构和参数。这些保存下来的模型参数可以被加载到内存中，用于对新的输入数据进行处理并生成相应的输出。
因此，大模型是通过存储训练后的模型参数来间接地存储训练数据的特征和规律的，而不是直接存储原始的训练数据‌12。

from AI