大模型中 .safetensors 文件、.ckpt文件、.gguf和.pth以及.bin文件区别、加载和保存以及转换方式

       在大模型中，.safetensors、.ckpt、.gguf、.pth 和 .bin 文件都是用于保存和加载模型参数的文件格式，它们之间的区别和转换方式如下：

1. .safetensors 文件：

   • 这是 TensorFlow 2.x 中新增的文件格式，用于保存模型参数和优化器状态。
   • 它采用的是 TensorFlow 的自定义序列化格式，不能直接用于其他框架。
   • 可以使用 TensorFlow 的 tf.train.Checkpoint 类来加载和保存 .safetensors 文件。

2. .ckpt 文件：

   • 这是 TensorFlow 1.x 中用于保存模型参数和优化器状态的文件格式。
   • 它采用的是 TensorFlow 的自定义序列化格式，不能直接用于其他框架。
   • 可以使用 TensorFlow 的 tf.train.Saver 类来加载和保存 .ckpt 文件。
   • 可以使用 TensorFlow 2.x 的 tf.compat.v1.train.Saver 类来加载和保存 .ckpt 文件。

3. .gguf 文件：

   • 这是 Google 的 GFST（Google Finite State Transducer）格式，用于保存语言模型。
   • 它采用的是 Google 的自定义序列化格式，不能直接用于其他框架。
   • 可以