CCC：CarCrazeCurator-CSDN博客

原创视觉 - 语言 - 动作（VLA）模型架构深度报告：链式拆分对齐（V-L-A）vs. 多模态直接融合（V+L-A）

文章摘要：视觉-语言-动作（VLA）模型是具身智能的核心技术，其架构分为链式拆分对齐（V-L-A）与多模态直接融合（V+L-A）两类。V-L-A通过串行流程分阶段处理视觉、语言和动作，保留了语言中间表征，利于调试但存在信息损耗和计算冗余；V+L-A则通过统一隐空间并行融合多模态特征，直接生成动作，显著提升了参数效率（如TurboVLA参数量仅为传统模型的6%）和推理速度（延迟降低至31.2ms）。

2026-08-06 15:55:33 335

原创 RECAP 强化学习研究报告：原理、应用、对比与未来趋势

RECAP是2025年由Physical Intelligence团队提出的新型强化学习框架，专为机器人控制等真实世界复杂任务设计。其核心创新在于将强化学习转化为优势条件化监督学习模式，通过多源数据（专家示范、自主尝试、人工纠错）和离线迭代训练，解决了传统RL在真实场景中的三大痛点：稀疏奖励、仿真偏差和训练不稳定。

2026-07-29 09:11:33 315

原创大模型序列生成：Token-level 与 Seq-level RL 原理与对比

本文对比分析了序列生成类强化学习中token-level和seq-level两种奖励策略的差异。token-level RL在每个生成步骤提供即时奖励，奖励信号稠密、训练稳定但易短视；seq-level RL仅在序列完成后提供全局奖励，更符合实际评价逻辑但面临信用分配难题。实际应用中常采用混合策略（如RLHF结合全局RM评分和逐token KL惩罚），并通过奖励塑形等技术平衡二者的优势。两种方法在奖励粒度、信号密度、适用场景等方面存在显著差异，需根据任务特性选择或组合使用。

2026-07-28 08:57:38 333

原创 A100作为深度学习基础计算节点的原因

NVIDIA A100基于安培架构，是深度学习领域的标杆级计算节点，通过全链路优化实现从训练到推理的全场景覆盖。其第三代TensorCore支持多种精度计算，80GB HBM2e显存解决大模型访存瓶颈，NVLink3.0和NVSwitch技术支撑高效分布式训练。MIG技术提升资源利用率，CUDA生态确保工业级兼容性。A100在计算、存储、互联等维度均针对深度学习优化，成为行业通用基础计算单元。与V100和H100相比，A100在算力、带宽和扩展性方面表现均衡，是大模型时代的核心硬件选择。

2026-07-14 16:34:28 442

原创强化学习中PG_loss的含义

策略梯度损失（pg_loss）是强化学习中优化策略网络的核心函数，通过梯度下降将最大化期望奖励转化为可优化目标。其本质是调整动作概率：正回报动作提升概率，负回报动作降低概率。常见变体包括带基线的REINFORCE（降低方差）、Actor-Critic（使用优势函数）和PPO（引入概率比裁剪）。在Actor-Critic框架中，pg_loss与value_loss（评估价值）共同构成总损失函数。不同实现可能符号相反（梯度下降/上升），但核心逻辑一致。

2026-07-14 09:06:12 346

原创深入解析 veRL（HybridFlow）：重新定义大模型强化学习训练的系统架构

本文将从系统设计原理、核心技术创新、代码架构实现三个维度，对 veRL 与 HybridFlow 进行深度技术拆解，帮助读者全面理解这一前沿 RLHF 训练框架的内在机制。

2026-07-08 17:59:33 446

原创黎曼流形在具身智能中的应用

黎曼流形为具身智能提供了一种统一的理论框架，能够有效建模机器人状态、构型和观测空间中的非线性几何约束（如刚体姿态、关节运动范围等）。该技术通过将物理约束嵌入流形度量张量，将运动规划、控制和姿态估计等问题转化为流形上的测地线或梯度流优化问题，避免了传统欧氏空间方法中约束与优化割裂的弊端。

2026-07-05 10:50:13 439

原创 DSpark 论文深度解读：基于半自回归生成与置信度调度的投机解码推理加速框架

DeepSeek推出的DSpark是一种高效的大模型投机解码（Speculative Decoding）推理加速框架，旨在解决自回归生成推理效率低下的问题。传统投机解码方案存在生成质量瓶颈（如并行草稿器的多模态冲突）和系统效率瓶颈（固定验证长度导致算力浪费）。DSpark通过半自回归生成架构（并行骨干+轻量串行校正头）提升草稿质量，结合置信度调度验证机制动态调整验证长度，优化GPU资源分配。

2026-07-03 10:14:08 472

原创深度学习模型：量化与蒸馏

本文系统介绍了深度学习模型轻量化的两大核心技术：模型量化与知识蒸馏，并提供了PyTorch实战代码。模型量化通过降低参数精度（如FP32转INT8）实现无损压缩，推理速度提升1.5-3倍；知识蒸馏通过"大教小"迁移知识，提升小模型精度。二者组合使用时，先蒸馏优化精度再量化加速推理，形成工业级解决方案。文章包含量化/蒸馏的核心原理对比、独立实现代码（后训练量化和软标签蒸馏）以及组合应用实例，最终实现模型体积缩小8倍、推理速度显著提升的效果，特别适合移动端等低资源场景部署。

2026-07-02 14:01:52 179

原创大模型分布式训练框架深度解析：Megatron-LM、DeepSpeed 与 LLaMA-Factory 的协同架构与并行实践

本文系统分析了大模型分布式训练的三大主流框架：Megatron-LM、DeepSpeed和LLaMA-Factory的技术特点与适用场景。Megatron-LM作为英伟达原生并行引擎，在超大规模模型训练中展现极致性能；DeepSpeed以ZeRO优化技术为核心，显著降低显存占用，成为RLHF训练的首选方案；LLaMA-Factory则通过封装HuggingFace生态，提供开箱即用的微调体验。

2026-07-01 15:19:51 425

原创 VLA 自动驾驶模型开源版本 PyTorch 代码逐模块拆解讲解：聚焦非自回归 Encoder-Decoder 范式

本文深入解析了视觉-语言-动作（VLA）模型在自动驾驶中的应用，重点探讨了非自回归Encoder-Decoder范式的技术实现与优势。文章系统拆解了VLA模型的整体架构，包括多模态编码器、混合解码器和动作精细化校准模块的核心设计，详细分析了从传感器输入到轨迹输出的全链路数据流转。

2026-06-26 08:29:24 350

原创深度解析强化学习核心算法 PPO：原理与 PyTorch 代码

PPO算法：强化学习的工业级解决方案 PPO（近端策略优化）算法通过引入“信任区域”思想，解决了传统策略梯度算法因更新步长过大导致的训练不稳定问题。PPO的核心创新在于使用截断机制（Clipping）或自适应KL散度约束策略更新幅度，仅需一阶优化即可实现稳定训练，平衡了样本效率与实现复杂度。其Actor-Critic架构结合策略网络和价值网络，通过广义优势估计（GAE）计算优势函数，指导策略优化。PPO广泛应用于机器人控制、游戏AI及大模型对齐（RLHF）等领域，成为强化学习的主流工业方案

2026-06-23 15:10:36 374

原创联合嵌入预测架构（JEPA）

JEPA（联合嵌入预测架构）是Yann LeCun提出的一种新型自监督学习范式，其核心思想是在抽象表征空间而非输入空间进行预测。该架构由上下文编码器、目标编码器和预测器组成，通过掩码策略和非对称设计学习数据的内在结构。相比生成式和对比学习方法，JEPA具有计算效率高、语义抽象性强和模态通用性好等优势，已在图像、视频、音频等多领域验证有效性。作为构建世界模型的基础架构，JEPA展现了在自动驾驶、机器人等场景的应用潜力，但也面临表征坍缩等挑战。

2026-06-22 16:59:18 446

原创线性 RNN 并行计算原理详解

线性RNN实现并行计算的核心在于其线性递推关系满足结合律，从而能够通过并行扫描算法将串行计算深度压缩至对数级别。线性RNN的纯线性状态转移特性使其能够定义满足结合律的复合算子，而传统非线性RNN因包含激活函数无法实现。并行扫描分两个阶段：向上规约阶段自底向上合并子段操作元，向下传播阶段计算各位置前缀结果。该方法在GPU上可显著加速训练（尤其长序列场景），同时保持推理时的串行效率。这种架构已应用于Mamba、RWKV等主流长序列模型，成为替代Transformer的重要方案之一。

2026-06-12 21:52:21 427

原创大模型核心注意力机制技术深度报告：MHA、MQA、GQA 与 MLA 技术原理、性能对比与场景适配

本文系统分析了大模型推理中注意力机制的技术演进路线，聚焦KVCache显存瓶颈问题。从标准多头注意力(MHA)到多查询注意力(MQA)、分组查询注意力(GQA)和最新的多头潜在注意力(MLA)，四种方案在模型质量、显存占用和推理速度三个维度呈现不同权衡：MHA保持无损质量但资源效率最低；MQA实现极致压缩但质量损失明显；GQA在8分组时找到平衡点；MLA通过低秩联合压缩在长序列场景展现出压倒性优势。

2026-06-12 21:36:50 396

原创【DriveGen 文件详解】04——evaluate.py

其评估脚本evaluate.py通过计算FID（Frechet Inception Distance）分数量化生成视频质量，包含特征提取、分布建模和距离计算三大模块。脚本采用轻量级CNN作为特征提取器，支持批处理优化和数值稳定性处理，可自动生成包含FID分数、样本数等指标的评估报告。虽然使用简化特征提取器（非标准InceptionV3），但该方案便于部署且保持评估流程完整性，用户也可扩展InceptionV3等更精确的评估指标。

2026-06-03 22:30:08 384

原创 Diffusion Transformer（DiT）：原理、与 U-Net 对比及在视频生成中的深度应用

本文面向 AI 研究人员与工程师，将从技术原理、架构对比、视频生成适配逻辑及工程实现四个维度展开深度解析：首先拆解 DiT 的核心设计逻辑，接着通过量化指标论证其替代 U-Net 的底层依据，再系统讲解 DiT 适配视频生成的架构改造方案，最后提供基于 PyTorch 框架的完整可复用代码示例，覆盖图像、视频生成的核心模块实现。

2026-05-31 21:46:51 937

原创【DriveGen 文件详解】03——inference.py

其核心功能包括DDPM迭代去噪采样、Classifier-Free Guidance增强生成质量，支持STDiT和SimpleUNet两种模型架构。项目提供完整的推理流程，从参数解析、模型加载到条件帧生成和视频输出，支持多种格式（MP4、GIF、单帧图片等）。关键技术参数包括推理步数（100-500步）、CFG缩放因子（3.0-7.0）和随机种子控制。该工具通过生成高质量驾驶场景视频，有效解决了真实数据采集成本高的问题，特别适用于生成极端天气等稀有场景数据。

2026-05-18 16:33:17 422

原创【DriveGen 文件详解】02——train.py

本文档详细介绍了DriveGen项目的核心训练脚本train.py，这是一个基于扩散模型的驾驶场景视频生成训练系统。脚本实现了完整的条件视频扩散训练流程，支持STDiT和SimpleUNet两种模型架构，具有参数解析、噪声调度、训练循环、检查点管理等核心功能模块。

2026-05-17 16:13:15 469

原创【DriveGen 文件详解】01——default.yaml

default.yaml配置文件详细定义了模型参数（如192维隐藏层、6层Transformer）、数据设置（支持合成数据和nuScenes数据集）、训练超参数（50个epoch、1e-4学习率）以及噪声调度（1000步线性扩散）等关键参数。该系统旨在为自动驾驶算法提供虚拟训练数据，特别针对极端天气等稀有场景的数据生成需求。

2026-05-16 20:52:44 394

原创 DriveGen: 基于扩散 Transformer 的驾驶场景视频生成器

DriveGen是一个基于STDiT（时空扩散Transformer）的驾驶场景视频生成器，旨在解决自动驾驶稀有场景数据不足的问题。该项目通过扩散模型生成高质量的虚拟驾驶场景视频，为自动驾驶算法提供极端天气、突发事故等罕见场景的训练数据。项目提供完整的训练、推理和评估流程，支持合成数据和真实数据集（如nuScenes）的适配，具有开箱即用、CPU友好等特点，为自动驾驶数据增强提供了高效解决方案。

2026-05-16 20:41:50 471

原创 DeepSeek V4 大模型技术评估

DeepSeek V4是2026年发布的开源大语言模型，具备三大技术突破：1）混合注意力系统(CSA+HCA)将百万级上下文处理成本降低70%；2）流形约束超连接(mHC)解决万亿参数稳定性问题；3）Muon优化器提升40%训练效率。模型提供1.6万亿参数的Pro版和2840亿参数的Flash版，均支持100万token上下文，在长文本、代码等场景性能媲美顶级闭源模型。采用MIT协议完全开源，支持国产算力适配，显著降低企业私有化部署门槛。

2026-05-01 14:22:59 1436

原创自动驾驶泊车全面解析

自动驾驶泊车技术发展迅速，从基础辅助到全无人泊车，逐步解决停车难题。核心技术包括多传感器融合感知、智能算法决策和精准线控执行，实现车位识别、路径规划和泊车动作。主流技术分为APA、F-APA、RPA、HPA和AVP五个等级，覆盖不同场景需求。国产车型凭借全栈自研优势在高阶泊车技术上领先。未来将向全场景适配、车路协同、低成本普及方向发展，成为智能出行生态的重要组成部分。

2026-04-27 22:46:06 832

原创 Harness Engineering 技术原理与应用全面解析

典型Harness系统包含四大模块：环境隔离沙箱、工具链封装、反馈自愈循环和可观测性管控。OpenAI的百万行代码实验证明，3人团队借助该范式可在5个月内完成传统30人团队的工作量，效率提升10倍。与传统软件工程相比，HarnessEngineering将人类角色从"编码者"转变为"环境设计师"，通过AGENTS.md等活文档实现知识传承，并建立了"错误→规则"的自我进化机制。当前LangChain、DeerFlow等框架已形成丰富工具生态，预示着AI工程化新时代的到来。

2026-04-07 20:51:37 819

原创基于 VLA 的自动驾驶轨迹规划：从思路到落地的实践之路

摘要：本文介绍了一个基于VLA（矢量化车道注意力）的自动驾驶轨迹规划开源项目。该项目通过矢量形式表征车道元素，利用注意力机制捕捉车道与轨迹的空间关联，解决了传统方法丢失车道矢量信息的问题。系统包含数据预处理、VLA核心模块和轨迹生成优化三大模块，支持多数据集适配，实验显示在NuScenes和Argoverse2数据集上轨迹误差降低15%，规划耗时仅20ms。作者分享了开发中的优化经验，并规划了多智能体交互、端到端部署等未来方向。项目代码已开源，旨在推动更安全高效的自动驾驶轨迹规划技术发展。（150字）

2026-03-30 19:47:09 476 1

Introduction and how an LLM is made

基于3d视觉语言预训练的端到端自动驾驶生成规划

通过V2X合作实现端到端自动驾驶

HiP-AD：基于可变形注意力的自动驾驶分层多粒度规划

DiffusionDrive：端到端自动驾驶的扩散模型.pdf

DiMA：自动驾驶多模态大语言模型的提取

TransDiffuser：基于去相关多模态表示的自动驾驶端到端轨迹生成

DriveTransformer：用于可扩展端到端自动驾驶的统一Transformer

EMMA：端到端多模态自动驾驶模型

VLM-AD：基于视觉语言模型监督的端到端自动驾驶

RAD训练基于大规模3DGS的端到端驾驶策略通过强化学习

清华官方出品《DeepSeek从入门到精通》

空空如也