预训练
文章平均质量分 63
咖乐布小部
NLP算法工程师,欢迎交流,一起学习!
展开
-
利用GPT2LMHeadModel构建预训练模型
利用GPT2LMHeadModel构建预训练模型替代手工构建修改预训练模型。原创 2022-05-10 22:47:00 · 4836 阅读 · 1 评论 -
预训练模型与微调
前言:预训练模型已经火了这么久了,但作为菜本菜的我却还在用lstm。在生成任务上与同门学长用的预训练模型相比,效果差的比较明显。所以,我决定走上预训练的不归路。以下分享我的学习过程:了解模型:小说故事生成模型万事开头难,上视频:视频我喜欢看简短的从零实现GPT-2,瞎写笑傲江湖外传,金庸直呼内行_哔哩哔哩_bilibili这是一个非常简单的模型。他没有用huggingface的模型库,而是用pytorch自己搭建了一个模型。也没有用预训练的参数,而是从头开始训练。过程:1.原创 2022-05-10 17:08:10 · 5986 阅读 · 3 评论