- 博客(2)
- 收藏
- 关注
RSS订阅原创 大模型入门笔记--Andrej Karpathy视频笔记
从预训练的“数据积累”，到Tokenization的“文本拆分”，再到神经网络训练的“规律学习”，然后通过SFT从“模拟器”变“助手”，用强化学习优化“答案质量”，最后用工具和渠道跟踪进展——这就是大模型训练的“完整闭环”。大模型不是“无所不能的神”，而是“数据驱动的统计模型”——理解它的训练逻辑，既能帮你更好地使用大模型，也能为后续深入学习打下基础。未来，随着长上下文、多模态、工具调用等技术的发展，大模型的能力还会持续进化，一起保持学习吧！
2025-08-29 13:43:06
718
原创 动态检索增强生成（Dynamic Retrieval-Augmented Generation，Dynamic RAG）
这种“引入工具+特殊token触发+动态刷新记忆”的方法，本质是让大模型从“闭卷考试”（仅依赖内部记忆）变为“开卷考试”（可查阅外部资料）。它不依赖修改模型的底层结构，而是通过“模型-工具协同”的方式，在保持生成能力的同时，用“实时、准确的外部知识”替代“模糊、可能错误的内部记忆”，从而从源头减轻幻觉。目前，这种方法已被OpenAI的Function Calling、Anthropic的Claude 3等模型广泛采用，是平衡“生成灵活性”与“输出准确性”的重要技术路径。
2025-08-23 15:40:01
1040
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人