- 博客(4)
- 收藏
- 关注
RSS订阅原创 Helloagent chapter9 context
它先尽量完整保留靠前的Section，遇到第一个放不下的Section时保留其开头，随后丢弃所有剩余内容。想要有效驾驭 LLM，往往需要“在上下文中思考”——也就是说：在任何一次调用时，都要审视 LLM 可见的整体状态，并预判这种状态可能诱发的行为。上下文包括：系统提示词+ 开发者指令+ 当前Chat中的历史对话+ 用户本轮问题+ RAG检索到的文档片段+ Agent长期记忆+ 工具调用及返回结果+当前任务状态。所谓“上下文”，是指在对大语言模型（LLM）进行采样时所包含的那组 tokens。
2026-07-14 17:15:46
226
原创 Helloagent chapter8 rag&memory
但rag的错误会体现在资料错误、rerank错误、chunk截断、过度推断、证据是否充。EpisodicMemory情景记忆：包含了丰富的上下文信息，并支持按时间序列或主题进行回。SemanticMemory语义记忆：更为抽象的知识、概念和规则。合理、表达流畅，但实际上没有事实依据、与资料矛盾，甚至完全虚构的内容）大语言。专业领域知识：通用模型在特定领域的深度知识可能不足（事实准确性：通过检索验证，减少模型的幻觉问题（知识时效性：大模型的训练数据有时间截止点。不同的记忆类型对应不同的存储抽象层。
2026-07-12 21:31:47
247
原创 数据并行、流量并行、模型并行（包含张量并行）
Reduce（归约）：在这个阶段，每个参与节点贡献一部分数据这些数据会被收集起。来，并通过某种归约运算（比如求和、取平均、最大值、最小值等）合并成一个。缺点：GPU 之间的通信速度较慢，则可能会限制训练吞吐量。缺点：GPU 之间的模型状态不一致，可能会影响收敛。Broadcast（广播）：在完成归约之后，所有参与节点都会接收到这个全局结果。优点：可以保证模型在每个host的状态一致。：每个 GPU 都会独立更新其本地模型副本，而无需等待其他 GPU。：模型参数都会在所有 GPU 上同时更新。
2025-01-15 14:54:37
528
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人