一、 从模型到应用
二、 数据
包括文本数据、图像-文本数据、视频数据等。
特点:多模态融合、精细化处理、价值观对齐。
三、 预训练
特点:高可扩展、极致性能优化、兼容主流、开箱即用。
四、 微调
1、 增量续训;让基座模型学到一些新知识
2、 有监督微调:让模型学会理解和遵循各种指令,或者注入少量领域知识
3、 高效微调框架XTuner
五、 部署
1、 大语言模型的特点:内存开销巨大、动态shape、模型结构相对简单
2、 技术挑战:设备、推理、服务
3、 部署方案:技术点,如模型并行、低比特量化、Attention优化、计算和访存优化、Continuous Batching等
4、 LMDeploy
六、 评测
1、 国内外评测体系的整体态势
2、 OpenCompass:丰富模型支持、分布式高效评测、便捷的数据集接口、敏捷的能力迭代
七、 应用
1、 大语言模型的局限性:最新信息和知识的获取、回复的可靠性、数学计算、工具使用和交互
2、 LLM智能体
3、 轻量级智能体框架Lagent
4、 多模态智能体工具箱AgentLego