- 博客(9)
- 收藏
- 关注
RSS订阅原创 common库部分类详解：高级微调框架
在我们的common库中，实现了一个复杂的深度学习训练和微调工具包，这个工具包主要是对前面编写的7个包的一个整合使用，包含多种用于模型训练和数据处理的函数和配置。
2024-06-23 13:31:08
668
原创 处理成对比较数据和训练
pairwise库包含了几个关键组件，主要用于处理成对比较数据和训练。这些组件包括数据整理器（PairwiseDataCollatorWithPadding）和一个专门的训练器（PairwisePeftTrainer），这些组件主要用于训练模型进行成对选择，比如在推荐系统或排序任务中评估哪个项目更优。
2024-06-17 14:46:22
788
原创 Seq2SeqPeftTrainer：处理序列到序列（Seq2Seq）的生成任务
seq2seq库通过提供专门针对序列到序列任务的训练器和评估工具，极大地增强了这类模型在文本生成任务中的应用能力和评估效率。
2024-06-11 12:42:29
548
原创 策略梯度优化训练类：基于强化学习中的策略梯度优化
编写ppo库，定义一个基于强化学习中的策略梯度优化（PPO, Proximal Policy Optimization）的训练类 PPOPeftTrainer
2024-06-10 22:54:07
657
原创 自定义peft训练器
peft_trainer 库定义了一个自定义的基于 transformers 库中的 Seq2SeqTrainer的训练器 PeftTrainer，。
2024-06-08 17:58:05
164
原创 深度学习模型训练工具类实现
编写other库，其中包含了多个工具函数和类，用于支持深度学习模型训练、参数管理和日志记录。这些工具主要用于改进模型训练过程中的一些特定需求，如参数加载、日志处理、数据生成等。
2024-06-07 19:02:13
423
原创 模型配置项编写
类：管理数据集属性，如加载来源、名称、校验码等，支持数据加载时的验证和配置。@dataclass'''用于存储数据集属性，包含数据加载来源，名称，SHA1校验码等'''类：配置模型相关参数，如模型路径、分词器选项、量化设置等，为模型训练和推理提供必要的配置支持@dataclass"""配置模型路径和缓存目录：指定预训练模型的路径或标识符以及缓存目录。配置分词器：选择是否使用快速分词器。配置身份验证：选择是否使用身份验证令牌。配置模型版本：指定使用的模型版本。
2024-06-06 23:17:40
912
原创 【项目实训】ChatGLM使用、改进
通过上述改进，GLM在多个任务上的表现均优于现有模型。NLU任务：在SuperGLUE基准测试中，GLM在多个子任务上的表现均优于BERT和其他现有模型。文本生成任务：GLM在生成长文本时表现出色，特别是在编码上下文时使用双向注意力时，GLM的表现优于传统的单向GPT模型。参数效率：GLM在使用较少参数的情况下，实现了优于BERT Large的性能，证明了其高效性和通用性。
2024-06-01 16:10:22
872
1
空空如也
装ubuntu22.04.2LTS系统时遇到的问题
2023-03-03
TA创建的收藏夹 TA关注的收藏夹
TA关注的人