weixin_38252409的博客

在 Hugging Face 中，self._maybe_log_save_evaluate是有关权重等内容相关保存函数。本文通过该函数探索huggingface内部源码对权重相关文件保存方法，以供读者了解huggingface保存权重文件原理。之所以，单独写出来，是要强调，我们可以使用这种方式灵活实现自己需求。特别是使用save_model等函数来保存权重，也可对Trainer进行继承来保存你想要的参数等。

在 Hugging Face 中，self.state 和 self.control 这两个对象分别来源于 TrainerState 和 TrainerControl，它们提供了对训练过程中状态和控制流的访问和管理。通过这些对象，用户可以在训练过程中监视和调整模型的状态，以及控制一些重要的决策点。本文主要介绍huggingface的trainer中的self.control与self.state的来源。

在huggingface中，有关trainer内容实在太多了，我将布局6篇文章来构建有关内容。第一篇文章介绍参数；第二篇文章给出一个完整Demo，并介绍trainner源码的整体结构，呈现一个整体框架；第三篇文章介绍给出数据构造、优化器构建方法源码解读；第四篇篇文章介绍epoch外循环训练相关源码解读；第五篇文章介绍step内循环训练相关源码解读；第六篇文章介绍Resume方法内容，包含继承数据、继承优化器、继承模型等实现完整断点续训功能。 而本篇为第一篇文章，主要解读参数用法与含义。

本文介绍如何使用huggingface加载视觉模型openai/clip-vit-large-patch14-336，我之所以记录此方法源于现有大模型基本采用huggingface库来加载视觉模型和大语言模型，我也是在做LLava模型等模型。基于此，本节将介绍如何huggingface如何加载vit视觉模型。

我们在Hugging Face不同模型对应的tokenizer映射字典，不存在某些专有词汇，我们需要新增对应的token，以便我们使用对应模型处理不存在专业词汇。为此，本篇文章针对此问题，记录如何为tokenizer添加对应词汇，便于模型转换。

Hugging Face是一家人工智能公司，致力于提供自然语言处理（NLP）模型和工具的开源库。他们的开源库包括了BERT等各种预训练模型的实现，以及用于训练、微调和部署这些模型的工具。在本文中，我们将探讨如何使用Hugging Face的库来构建一个BERT分类模型，该模型能够对文本进行分类，例如情感分析、文本分类等任务。我们将介绍如何使用Hugging Face提供的transformers库来构建、训练和评估BERT分类模型。

目前很多大模型或NLP相关模型可使用huggingface实现，是一个非常好用的集成库，特别是transformer库。而Hugging Face的Tokenizer模块是该平台的重要组成部分，主要用于文本的处理和编码。Tokenizer模块提供了各种先进的文本处理工具，包括分词、编码、解码等功能。本文将以llama模型作为tokenizer列子，介绍tokenizer相关使用内容。