apple_63504356的博客

在我们的common库中，实现了一个复杂的深度学习训练和微调工具包，这个工具包主要是对前面编写的7个包的一个整合使用，包含多种用于模型训练和数据处理的函数和配置。

pairwise库包含了几个关键组件，主要用于处理成对比较数据和训练。这些组件包括数据整理器（PairwiseDataCollatorWithPadding）和一个专门的训练器（PairwisePeftTrainer），这些组件主要用于训练模型进行成对选择，比如在推荐系统或排序任务中评估哪个项目更优。

这是一个专门用于处理批量数据的数据整理器

seq2seq库通过提供专门针对序列到序列任务的训练器和评估工具，极大地增强了这类模型在文本生成任务中的应用能力和评估效率。

编写ppo库，定义一个基于强化学习中的策略梯度优化（PPO, Proximal Policy Optimization）的训练类 PPOPeftTrainer

peft_trainer 库定义了一个自定义的基于 transformers 库中的 Seq2SeqTrainer的训练器 PeftTrainer，。

编写other库，其中包含了多个工具函数和类，用于支持深度学习模型训练、参数管理和日志记录。这些工具主要用于改进模型训练过程中的一些特定需求，如参数加载、日志处理、数据生成等。

类：管理数据集属性，如加载来源、名称、校验码等，支持数据加载时的验证和配置。@dataclass​'''用于存储数据集属性，包含数据加载来源，名称，SHA1校验码等'''​​类：配置模型相关参数，如模型路径、分词器选项、量化设置等，为模型训练和推理提供必要的配置支持@dataclass"""配置模型路径和缓存目录：指定预训练模型的路径或标识符以及缓存目录。配置分词器：选择是否使用快速分词器。配置身份验证：选择是否使用身份验证令牌。配置模型版本：指定使用的模型版本。

通过上述改进，GLM在多个任务上的表现均优于现有模型。NLU任务：在SuperGLUE基准测试中，GLM在多个子任务上的表现均优于BERT和其他现有模型。文本生成任务：GLM在生成长文本时表现出色，特别是在编码上下文时使用双向注意力时，GLM的表现优于传统的单向GPT模型。参数效率：GLM在使用较少参数的情况下，实现了优于BERT Large的性能，证明了其高效性和通用性。