超级会员免费看
本文详细介绍了GPT模型的训练过程，包括数据样本的生成、模型训练的配置参数以及部署到网页进行预测的步骤。在数据预处理阶段，通过tokenizer处理作文数据集并序列化训练数据。训练过程中，每个词的标签向后错一位，预测下一个词的token_id概率。最终，通过app.py实现模型的网页预测，利用温度采样和topk/topp采样生成预测结果。
代码链接见文末
效果图：
1.数据样本生成方法
训练配置参数：
--epochs 40 --batch_size 8 --device 0 --train_path data/train.pkl
其中train.pkl是处理后的文件
因此，我们首先需要执行preprocess.py进行预处理操作，配置参数：
--data_path data/novel --save_path data/train.pkl --win_size 200 --step 200
其中--vocab_file是语料表，一般不用修改，--log_path是日志路径
订阅专栏 解锁全文
扫一扫
3496
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
