1.8 基础组件之Trainer

目录

Trainer简介：

TrainingArguments + Trainers代码优化：

---

Trainer简介：

说明文档位于transformers里面：

TrainingArguments + Trainers代码优化：

在Hugging Face的transformers库中，TrainingArguments是一个用于配置和管理训练过程的类。它提供了一系列参数来定义训练的细节，如模型、优化器、学习率、批次大小、训练步数等。

使用TrainingArguments类可以方便地设置和传递训练相关的参数，以控制训练过程的行为。以下是一些常用的TrainingArguments的参数：

• output_dir：指定模型和训练输出的目录。
• overwrite_output_dir：如果设置为True，将覆盖输出目录中的现有内容。
• num_train_epochs：训练的总轮数。
• per_device_train_batch_size：每个设备的训练批次大小。
• per_device_eval_batch_size：每个设备的评估批次大小。
• learning_rate：初始学习率。
• weight_decay：权重衰减（L2正则化）的系数。
• adam_epsilon：Adam优化器的epsilon参数。
• warmup_steps：学习率预热的步数。
• logging_dir：日志输出目录。
• evaluation_strategy：评估策略，可以是"no", "steps", 或 "epoch"。
• save_strategy：保存策略，可以是"no", "steps", 或 "epoch"。

除了上述参数，TrainingArguments还提供了其他许多参数，用于控制训练过程的各个方面。通过设置这些参数，可以灵活地配置训练过程，以满足不同任务和需求的训练需求。

在实际使用中，可以将TrainingArguments的实例传递给Trainer类，以配置和管理训练过程。Trainer类是transformers库中用于训练和评估模型的高级API，它将TrainingArguments与模型、数据集等结合起来，提供了便捷的训练和评估接口。

TrainingArguments里边有很多参数，需要我们按照具体的任务进行相应的设计。 

可以通过控制台进入tensorbord，在TensorBoard界面中，我们可以查看和分析训练过程中的各种指标、损失曲线、模型结构图等信息。可以根据需要在代码中使用TensorBoard回调来记录这些信息，并在训练期间将其写入TensorBoard日志文件中。然后，通过启动TensorBoard并访问相应的URL，还可以可视化和分析这些日志数据。