瓜熟保沉-CSDN博客

原创 RAG 冠军项目

经过这次学习，我对 RAG 的理解发生了一个明显变化。RAG = 检索 + 生成RAG = 围绕“证据质量”展开的一整套系统设计文档能不能被正确解析chunk 怎么切metadata 怎么保留用什么方式检索是否需要 rerank是否需要 small-to-big最终怎么把上下文拼给模型输出是否结构化能不能回溯到引用页码也就是说，RAG 的难点从来不只是“接一个向量库”。怎样让模型基于可靠证据回答，而不是基于模糊印象回答。

2026-04-11 21:16:06 403

原创训练大模型，你真的选对 GPU 了吗？A/H/B系列（100，800）的区别与选择

多模态微调选卡看 NVLink，不要只盯着显存大小和算力峰值。RFT 额外需要显存能同时放下 actor 和 ref model。以看到厂商写"989 TFLOPS"，心里要默认打个对折——训练场景下约 495 TFLOPS 才是更接近现实的参考基线，然后再乘以 MFU（约 40-55%）才是实际吞吐。所以看到厂商写"989 TFLOPS"，心里要默认打个对折——训练场景下约 495 TFLOPS 才是更接近现实的参考基线，然后再乘以 MFU（约 40-55%）才是实际吞吐。

2026-03-20 15:06:53 623

原创 Qwen3 推理模式深度解析：从 Qwen2.5 的“隐式思考“到 Qwen3 的“原生推理“

在大语言模型（LLM）领域，推理模式（Thinking/Reasoning Mode）特指模型在输出最终答案之前，会生成一段类似人类草稿纸演算过程的中间思考内容。强化学习（RL）驱动的链式思维（CoT）模型被训练为"先想清楚，再开口"通过牺牲响应速度换取逻辑准确性Qwen 系列在 2.5 → 3 的迭代中，正是沿着这条路径完成了从"隐式思考"到"原生推理"的关键跨越。从"博学的心算者"走向"严谨的演算者"。通用性和专用性在底层权重层面存在本质张力，优雅的统一方案未必是最优解。

2026-03-18 17:14:55 467

原创大模型分布式训练：DP、TP、PP 三大并行策略通俗讲解

DP 数据并行TP 张量并行PP 流水线并行切分对象训练数据矩阵运算（层内）模型层数（层间）每卡存什么完整模型部分权重矩阵几层的完整参数解决的问题加速训练、扩展数据量激活内存过大模型整体放不下通信类型All-Reduce（梯度同步）All-Gather / Reduce-Scatter（频繁）点对点传激活值（少）跨节点效果✅ 较好❌ 很差（带宽瓶颈）✅ 较好主要副作用每卡存完整模型必须节点内使用流水线气泡。

2026-03-15 22:04:13 519

原创深入理解 RLHF/PPO/DPO/GRPO

我们先讲讲什么是RLHF（Reinforcement Learning from Human Feedback），为什么要进行RLHF，RLHF分哪些环节。1.什么是RLHF：RLHF是一种【通过收集人类反馈数据（符合人类偏好的数据），训练出奖励模型，通过奖励模型评估LLM的答案，更新LLM权重，最终得到答案符合人类偏好的LLM】的模型训练优化框架。而PPO（Proximal Policy Optimization）是目前将大语言模型（LLM）与人类偏好对齐的最主流强化学习算法之一。

2026-03-11 16:42:19 652

原创 VS Code 调试痛点终结：像 PyCharm 一样直观显示 Tensor/DataFrame 关键信息

让 VS Code 的调试变量面板清晰展示深度学习/数据分析中的核心信息，告别。然后输入：Developer: Reload Window。我们通过注册自定义渲染器实现专业级显示优化。你可以按下快捷键：Ctrl + Shift + P。3.重启 VS Code 或 Cursor。这是最简单的方式，适用于大多数情况。实现调试功能，其变量显示由。方法一：关闭并重新打开编辑器。方法二：通过命令面板重启窗口。VS Code 通过。

2025-08-03 21:59:34 792

原创中文环境下使用LangChain避免OpenAI的API问题

二. 阶跃星辰（StepFun）——与OpenA的适配性高，有免费额度。三.Hugging Face——开源机器学习平台（模型库）：GPT-4等模型推理费用高昂。：API调用时常出现连接超时。：中文敏感数据需留在国内。

2025-07-29 15:23:21 344 1

qq_64411314的博客