书生浦语第一课

第一课

1. 大模型种类：(1) 专用模型 (Alphago)  (2) 通用大模型(Chatgpt)
2. 提出开源体系InternLM2
3. 回归语言建模本质内容: (1) 多维度数据价值评估 (对价值进行评估与提升) (2) 高质量语料驱动的数据富集 (增加库内容) (3) 有针对性的数据补齐 (增强核心能力)
4. 该模型亮点: (1) 超长上下文 (2) 综合性能全面提升 (3) 优秀的对话和创作体验 (4) 工具调用能力整体提升 (5) 突出的数理能力和实用的数据分析能力
5. 具体的优势: (1) 可以提供可靠的建议(旅行) (2) 语言富有人文关怀 (3) 创作富有想象力 (4) 工具调用能力更好 (发邮件、找位置) (5) 强大的内生计算能力 (做数学题) (6) 代码解释器 (7) 数据分析
6. 开源开放体系: 数据、预训练、微调、部署、评测、应用
7. 数据: 书生万卷可以提供符合价值观的、内容优质的、安全密度高的数据
8. 预训练: (1) 高可扩展 (速度更快) (2) 极致性能优化 (加速) (3) 兼容主流 (4) 开箱即用
9. 微调: (1) 增量续训 (学习某个垂直领域的知识) (2) 有监督微调 (理解各种指令并进行对话，包括全量参数微调和部分参数微调)
10. 微调工具: (1) compasskit (2) compasshub
11. 部署: LMDeploy提供全流程解决方案，拥有高效的推理引擎和完备的工具链
12. 智能体Lagent: 支持多种智能体和大语言模型，支持丰富的工具

• 
• 
• 
• 
• 
• 
• 
•