项目介绍
- 原始数据
- train:30000
- val:
数据处理
- 数据格式转换
- 统一存储方式
- txt
- pkl
- 统一存储方式
- 数据预处理
- BPS
- 数据迭代器
- dataset
- 获取数据集中的每一个样本
- 继承自dataset
- init
- len
- getitem
- dataloader
- 获取batchsize数据
- dataset
模型构建
- GPT2
- 词嵌入
- 位置嵌入
- 12层TransformerDecoder
- LayerNorm+全连接
- 使用网络框架
- 权重随机初始化
- 没有先验信息,从头开始训练
- 使用预训练模型
- 一定要有bin文件
- 先验信息微调
模型训练与验证
获取数据
构建好模型
遍历每个epoch数据
遍历每个batch数据
模型预测
损失计算
反向传播
模型权重保存