为什么需要预训练
某种任务只存在非常少量的相关训练数据
如何做
先从通用数据训练得到基本的语言生成能力,再定向微调。
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/114eb8a568d8e3754f787c884bedb093.png)
https://zhuanlan.zhihu.com/p/370859857
代码实现——Xtuner
使用Xtuner做预训练
处理成Xtuner所需要的数据格式
选择XTuner 支持的模型
按需修改config文件
https://github.com/InternLM/xtuner/blob/main/docs/zh_cn/user_guides/incremental_pretraining.md