一.Finetune简介
1.两种Finetune范式的介绍
这两种Finetune范式是指增量预训练微调和指令跟随微调。
2.数据的发展历程
一条数据是由原始数据经过修改到标准格式数据,然后通过添加对话模板变成Tokenized数据,然后再添加lobel才开始训练。
3.LoRA&QLoRA
二XTuner的介绍
1.XTuner的概念
2.XTuner的数据处理流程
三.8GB显存玩转LLM
四.InternLM2 1.8模型
这个InternLM2 1.8B模型相较于其他模型来说,他有选择多样性,可以更方便于不同的用户选择。
五.多模态LLM
1.多模态LLM原理简介
2.LLaVa方案简介