jieshenai的博客

使用 transformers.Trainer 自动训练模型，使用训练完成的模型进行预测，评估模型训练的效果。

本文探讨了如何通过优化Padding策略，提高基于Bert的文本分类模型的训练速度。我们比较了两种不同的Padding方式：一种是将输入数据统一填充到最大长度512，另一种是只将每个Batch中的数据填充到Batch中最长的样本长度。通过实验结果证明，后者显著减少了训练时间，且不影响模型的性能。

介绍了如何使用 `transformers` 库的 `Trainer` 进行Bert模型的自动微调，无需手动调整损失函数和参数更新。导入必要的库和数据集，文章展示了加载中文Bert模型并对文本进行分类的过程。文中详细讲解了如何将数据集转换为Bert模型可处理的格式，并通过 `TrainingArguments` 和 `Trainer` 设置训练参数和执行训练。使用 `Trainer` 不仅节省时间，还能保证模型效果。使用 `wandb` 记录和可视化训练过程，可视化查看模型训练过程。

本文介绍了使用datasets库在Python中高效处理数据集的方法。文中展示了如何安装和导入huggingface数据集，并详细说明了使用filter、map和select方法对数据集进行筛选、转换和采样的具体步骤，同时解决了因网络问题导致的连接难题。还展示了如何通过map方法转换数据集样式，实现数据集的定制化处理。

国内使用阿里云盘下载huggingface模型权重。海外服务器上传模型到阿里云盘。

HfArgumentParser可以将类对象中的实例属性转换成转换为解析参数。类对象是@dataclass()创建的类对象。本文提供了Pycharm的参数输入方式，可用作Debug

表示导入的本地文件是 json文件。