AI生成曾小健3

原创 Cursor 的 online RL: RL Infra 的下一个好问题？

通过这个架构，我们可以收集用户数据用于训练，可以更及时地把一些实验的尝试推到线上，甚至可以利用线上业务的潮汐来缓解 RL 的算力问题，以及通过彻底复用线上服务与 RL 框架的 inference 服务，来提升服务稳定性，集中工程人力（强制内部只能有一个 inference 框架，强迫症友好~，在解决堆积如山的 bug 和 feature 之余，我们可以开始考虑考虑，RL Infra 的下一个有趣的问题是什么呢？我们先排除这样做的一些公司政治压力，来看看有什么技术上的需求。比较好奇大家怎么看~

原创 普林斯顿王梦迪团队开源扩散语言模型TraDo，并提出TraceRL框架实现SOTA性能！

TraceRL训练显著增强了模型的数学推理能力：在MATH500上，TraDo-4B-Instruct的静态准确率提升了5.4%，动态准确率提升了4.2%，优化后超过Qwen2.5-7B-Instruct；作为首个支持long-CoT的扩散语言模型，TraDo-8B-Thinking在各类基准测试中展现出强大的推理能力，在MATH500上取得了85.8%的准确率，表明扩散语言模型同样能够在复杂推理任务中表现出色。通过配备基于扩散模型的价值模型以增强训练稳定性，在复杂的数学和编程任务中显著提升推理性能。

原创 谷歌与OpenAI同获ICPC 2025金牌！GPT-5满分夺冠，Gemini攻破人类队伍都没解出的难题

更令人震惊的是，Gemini 在比赛前半小时内，就成功解决了问题 C——一道没有任何大学队伍解出的难题。结果令人瞠目：有 11 道题都是一遍过，唯一的难题在第 9 次提交时才解出，最终达成 12/12 满分——要知道，今年人类最强队伍的成绩是 11/12，而 GPT-5 直接拿下满分，这在 ICPC 的历史上极为罕见。这不是终点，而是一个开始。接下来，AI 是否会把这种能力扩展到更复杂的现实问题中还有待考验，但可以确定的是：如今，AI 不再只是“会写代码的助手”，而是真正具备了与人类智力正面对抗的实力。

原创 Figure 获 10 亿美元融资，启动全球最大真实场景机器人数据集 Go-Big 构建

正如前 Open AI 研究员姚顺雨所说，几十年来，AI 领域的研究都聚焦着新的训练方法和模型，但进入到 “AI 下半段（The Second Half）”，聚焦点将从 “解决问题” 转移到 “定义问题”，更加注重基准测试（Benchmark），包括数据集、评估任务、评估指标的建设。，打造 “机器人行为的 YouTube”，利用海量真实场景数据，以人类第一视角视频训练 Helix 模型，最终实现人形机器人在复杂现实环境中，能够像人类一样智能感知、决策并完成多样化任务的宏伟愿景。

原创 理解 RAG 第二部分：经典 RAG 的工作原理

功能的必要性。我们还简要概述了 RAG 的核心思想：从外部知识库中检索上下文相关的信息，以确保 LLM 生成准确且最新的信息，而不会产生幻觉，也无需不断地重新训练模型。本系列的第二篇文章将揭秘传统 RAG 系统运行的机制。尽管如今随着人工智能的迅猛发展，各种增强版和更复杂的 RAG 版本几乎每天都在涌现，但要理解最新的 RAG 方法，第一步是理解经典的 RAG 工作流程。

原创 Qwen3技术报告详细总结

Qwen3是Qwen模型家族的最新版本，包含一系列大型语言模型(LLMs)，旨在提升性能、效率和多语言能力。Qwen3系列包括密集和混合专家(MoE)架构的模型，参数规模从0.6B到235B不等。Qwen3的关键创新是将"思考模式"(用于复杂多步推理)和"非思考模式"(用于快速响应)集成到统一框架中，消除了在不同模型间切换的需要，并支持基于用户查询或聊天模板的动态模式切换。

原创 变了!女用户终超男性,73%和工作无关,深解OpenAI首份GPT报告

写作辅助：成为职场中最常用的功能，占工作对话的40%，但重点是约三分之二不是让AI“从头写”，而是“改”，比如润色报告、翻译英文邮件、校对错别字，AI更像“人类作者的助手”，不是“取代人类写作”。在知识密集型岗位，比如金融分析师、策划，大家更愿意把它当“顾问”或“助理”，用它头脑风暴，或者快速查行业数据，省下来的时间用来做更复杂的决策。就像报告里说的，知识型岗位的员工用ChatGPT，主要是“辅助自己”，不是“替代自己”，未来会用AI的人，肯定更吃香。二是“监管要跟上，不能一刀切”。

原创 100页论文！智能体强化学习范式已来，牛津联合发布Agentic RL最新综述

牛津大学联合上海人工智能实验室、新加坡国立大学等高校研究者系统梳理了智能体强化学习的最新进展。通过总结500余篇近期工作，从自主能力和多样化任务应用两个维度进行详细阐述，总结了现有开源环境、基准测试、训练框架以及挑战，并探讨了未来方向。图7总结了智能体强化学习的环境和基准；）从被动的文本生成器提升为自主决策的智能体，能够在与动态复杂的环境交互中学习并成长。图6介绍了面向多样化任务的智能体强化学习进化树，主要包括搜索和。规划、工具使用、记忆、自我改进、推理、感知。研究、编程、数学、GUI、多智能体系统。

原创 突发！GPT-5编程版本来了：连续编程7小时不停，还能自动找出致命缺陷

在 OpenAI 员工流量上，对于按模型生成的 token（包括隐藏推理和最终输出）排序的后 10% 的用户轮次，GPT-5-Codex 使用的 token 比 GPT-5 少 93.7%。GPT-5-Codex 是 GPT-5 的一个版本，针对 Codex 中的代理软件工程进行了进一步优化。Codex CLI 是开源的，可以直接在 CLI 中附加和共享图像（屏幕截图、线框图和图表）在执行更复杂的工作时，Codex 现在使用待办事项列表跟踪进度，并包括用于连接到外部系统的 Web 搜索和 MCP 等工具。

原创 中国具身智能的技术一号位们

在具身智能的这波浪潮中，技术领袖们的远见与坚持正成为推动行业前进的核心动力。从星海图团队深耕具身智能空间感知，以自研三维建模与实时交互算法实现复杂场景精准定位，到宇树科技聚焦高性能人形机器人硬件，凭先进电机驱动与运动控制方案赋予载体类人灵活运动能力；从 Figure AI 突破商用化人形机器人技术，用轻量化设计与高效能源管理推动落地零售物流场景，到 Physical Intelligence 团队探索 “仿生力学 + 智能算法” 路径，借生物运动机理模拟赋予机器人物理自适应能力。

原创 ‘Transformer模型可用行切分和列切分策略进行张量级拆分’ 这最有可能是模型并行、张量并行、数据并行还是其他什么并行方式？

张量并行是一种模型并行技术，它将模型单个层（Layer）内部的权重矩阵（即“张量”）进行切分，并将切分后的计算任务分配到不同的计算设备（如GPU）上。这种方式可以在单个操作（如矩阵乘法）的层面实现并行计算。您提到的行切分” (Row-wise Splitting) 和 “列切分” (Column-wise Splitting) 正是实现张量并行的具体策略。以 Transformer 模型中的前馈网络（Feed-Forward Network, FFN）为例，它通常由两个线性层。

原创 模型并行和张量并行的异同和优劣是什么

概念：将模型的不同部分（如层或模块）分配到不同的设备上，每个设备只处理模型的一部分。实现方式：模型按层或模块划分，每个设备处理模型的一个子集，前向传播时数据依次通过各层，后向传播时梯度也按顺序回传。适用场景：适用于模型过大，无法在单个设备内存中完全加载的情况。CSDN博客+4CSDN博客+4博客园+4CSDN博客+2博客园+2CSDN博客+2模型并行：通过将模型按层或模块划分，适用于模型过大，无法在单个设备内存中完全加载的情况。张量并行。

原创 说明模型并行和数据并行的异同和优劣

模型并行和数据并行是深度学习分布式训练中的两种主要并行策略，它们的异同和优劣可以从多个角度理解：模型并行通过将模型按层或权重维度拆分到多个设备，适合模型参数量远超单卡内存的情况。各设备间需要传递中间计算结果，实现上需要设计合理的切分和调度策略来减少通信开销和同步等待。例如Transformer模型可用行切分和列切分策略进行张量级拆分。数据并行则是每个设备保留完整模型副本，不同设备处理不同数据批次，训练时需同步梯度（如All-Reduce），适合大数据量且模型能单设备容纳的场景。通信瓶颈主要在梯度汇总步骤，技

原创 哪种并行方式会出现bubble问题，怎么解决

数据并行是最直观的并行方式，适合数据量大且模型较小场景，设备各自完整模型，性能受限于梯度同步通信和单设备内存。模型并行适合超大模型，通过切分模型参数解决内存瓶颈，但需要复杂的设备间通信。张量并行是模型并行的细粒度版本，拆分具体张量运算，适合细致计算加速，通信和实现更复杂。流水线并行解决模型层次超长带来的内存和计算压力，串行执行模型层，存在阶段等待（bubble）问题，调度复杂。专家并行专为MoE架构设计，动态路由只激活部分专家，扩展模型容量最大，但依赖复杂通信和负载均衡技术。

原创 什么大模型专家并行，和其他的并行方式有什么区别

它区别于传统数据并行和张量并行的最大特点是：输入数据需要在设备间进行动态路由和大规模的“All-to-All”通信，以实现专家之间的数据分配和结果整合，这带来了独特的通信和负载均衡挑战。因此，专家并行是针对MoE模型的定制化并行策略，通过将专家模块分散到多个设备并利用动态路由，实现模型参数和计算的高效分布，是扩展超大模型容量和计算效率的重要方法之一。专家并行特别适合基于MoE架构的超大规模模型，能够通过路由机制激活部分专家，显著增加模型容量而不显著增加推理计算量。其核心思想是在分布式环境中，将模型中的。

原创 Relu、Leaky Relu和Gelu的异同和优劣

激活函数计算复杂度负区间梯度平滑性应用场景优缺点简述ReLU低0断点不连续通用大多数神经网络快速简单，但有死神经元问题Leaky ReLU低非零小斜率断点不连续卷积神经网络（CNN）、生成对抗网络（GAN）解决死神经元问题，训练稳定性更好GELU高非零且平滑平滑连续复杂模型，尤其是NLP变换器模型（BERT/GPT）表现最好，拟合能力强但计算量大。

原创 首创电影美学控制系统！阿里开源「通义万相2.2」视频模型

目前，三款模型都已在Hugging Face、GitHub和阿里自家开源社区ModelScope上线，支持FP8量化、LoRA训练、ComfyUI接入、Diffusers调用等功能，方便开发者快速集成。而换成“清晨、暖光、高角度、浅景深”，画面立马切换成一组安静柔和的晨起镜头，适合拍温情家庭片的开场。💡 来看看Wan2.2的不同的灯光效果（晴天、阴天、月光、荧光灯、火光 、混合、柔光、硬光、顶光、侧光、背光、底光、边缘、轮廓……：混合模型，支持文本+图像输入，性能更轻量，适合个人开发者和内容创作者。

原创 你是昇腾架构师，设计到一些大模型和多模态的还有yolo之类的一些算子 在昇腾gpu上不支持，请描述你解决该算子撰写支持的一些过程

昇腾CANN（Compute Architecture for Neural Networks）算子库中提供了多数常用算子的二进制实现（如卷积、Softmax、BatchNorm等），可直接调用加速。针对库中未支持或性能不足的算子，采用Ascend C编程语言（CANN支持）进行。

原创 self-attention 在 HBM 和 SRAM 上的数据传输过程？

GPU中还有多级缓存，寄存器、L1缓存/共享内存（SRAM指L1/shared memory）、L2缓存等，FlashAttention主要在。S=QKTS=QKT， P=softmax(S)P=softmax(S)，和最终乘积 O。这样减少了HBM和SRAM之间的数据来回传输，提高了计算速度和资源利用率。极快，通常作为GPU核心上的高速缓存使用，负责高效的计算操作。查询矩阵（Query，Q）和键矩阵（Key，K），一块块完成计算，中间结果在SRAM中累加，）中完成计算，减少对更慢的HBM的访问。

原创 FlashAttention灵魂10连问，当场被挂掉~

目录：有哪些局限性？什么是HBM 和 SRAM？self-attention 在HBM 和 SRAM上的数据传输过程？flash attention 的提出背景是什么？什么是 flash attention？flash attention 的整体思路是什么？什么是矩阵计算分块？什么是 softmax 分块？flash attention 的计算过程？参考资料01self-attention 有哪些局限性？（1）self-attention 的两个局限性？

原创 大模型预训练的数据清洗要注意的点和技巧 数据清洗去重用什么算法，具体操作步骤是怎样

大模型预训练的数据准备是一个复杂且关键的过程，涉及数据质量、多样性、规模、清洗、平衡、增强、偏差、标注一致性、隐私与合规性、预处理、模型架构选择、分布式计算、混合精度训练、模型蒸馏与剪枝以及增量预训练等多个方面。通过精心设计的步骤和严格的质量控制，可以确保大模型的训练数据高质量、多样性和合法性，从而为后续模型训练提供坚实的基础。

原创 大模型预训练和qa pair的sft阶段在实现细节上有什么不同？ 请最好能距离，包括llama factory的实现细节

预训练适合大规模分布式场景，最大限度挖掘通用知识；SFT专注于任务定制，通过高质量QA对、灵活微调、资源高效，把大模型“点亮成应用”模型，在Llama Factory等开源实现上尤为友好。如需进一步到实际代码或配置模板，可指出关心的模型/数据类型，将提供更细化示范和解析。perp大模型的预训练阶段与基于QA对的SFT（Supervised Fine-Tuning，有监督微调）阶段在实现细节上存在显著差异，尤其体现在数据处理方式、模型初始化、损失函数设计以及优化和训练资源消耗等方面。

原创 具身智能高级工程师 1.4 模仿学习 (IL)：向专家学习

深度技术解读与岗位分析报告。

原创 详细说明Qwen3中动态RoPE，以及怎么支持长序列的

实验显示在32K长度任务中，相比传统RoPE方案可提升长程依赖捕捉能力42%，同时降低位置编码计算开销28%。YARN（Yet Another RoPE Extension）：实现4倍序列长度扩展。基础频率扩展：将传统RoPE的基频从10,000提升至1,000,000。| 最大上下文长度 | 4,096 | 32,768 || 技术指标 | Qwen2.5 | Qwen3 || 长文本推理速度 | 1.2x | 3.8x || 位置编码内存占用 | 100% | 65% |25%样本在4K-16K区间。

原创 VLA视觉+语言+动作！超强具身“训练宝典” EmbRACE-3K

借助 EmbRACE-3K，研究人员建立了一个新基准，用以评估 GPT-4o、Gemini 2.5 Pro 和 Qwen2.5-VL-7B 等模型在三方面的具身推理能力：探索、动态空间-语义理解和多阶段任务执行。在零样本测试中，所有模型的成功率都低于 20%，说明这个基准具有很高的挑战性，也揭示了当前模型在复杂交互任务中的不足。：同样应用于开放环境，通过结合先前监督学习的结果与强化学习策略，引导智能体在实际交互中优化决策行为，进一步提升其任务完成能力与泛化能力。，设置在多样化、逼真的仿真环境中。

原创 大模型分布式训练基础原理

2025年07月23日 21:17。

原创 AI四场战役，看AI的终极战场在哪里？

AI的终极战场，究竟是模型的规模，是硬件的普及，是接口的掌控，还是伦理与社会结构的再定义？，不仅改变了技术演进的方向，更揭示了一场关乎算力、人才、生态与物理世界接口的全面战争。Grok-4的意识形态倾向，加上在发布当天x公司CEO Linda Yaccarino的突然辞职，都为其未来蒙上了一层阴影。将作为数据底座，整合上百万个传感器和数百个子系统的数据，实现对核能设施的全面建模与指挥。，再到OpenAI与Google围绕顶尖人才的殊死搏斗，我们正在目睹一个新时代的开启。，实现了一次真正意义上的性能跃迁。

原创 金融数据API全面指南

从提供全面但昂贵服务的传统巨头，到以开发者为中心、灵活创新的新兴力量，再到作为最终数据源头的交易所本身，每个层次的参与者都有其独特的定位。这一梯队的公司通过卓越的开发者体验、透明的定价和灵活的许可模式进行竞争，致力于将机构级的数据普及化。这一梯队由历史悠久、根基深厚的市场领导者主导，以其数据的深度、广度和权威性著称，但通常伴随着高昂的成本和复杂的接入方式。：这是绝大多数金融API的基石，包括日终（EOD）、日内（Intraday）和最精细的Tick级数据（逐笔交易和报价）。

原创 曾小健的一些照片存储

原创 重磅上线！APP出海市场研究，助您决胜千里之外！

飞书深诺的本品与竞品差异化研究服务覆盖全球几乎所有应用商城中APP软件，致力于帮助客户精准剖析竞品在多个维度上的发展情况，从前段的产品功能、营销打法、商业模式，到中后段的用户评价、优化策略等，在帮助客户快速定位本品与竞品的差异点的同时，以最高效率捕捉市场中的成熟信息，助力企业明晰在当前市场中竞争的关键举措。因此，我们在标准化的研究模式基础上，为每一位客户设计了量身定制的DIY调研服务，全方位满足您的个性化需求，让您的产品能最快速响应市场变化，在动态的市场中脱颖而出。2025年07月10日 14:51。

原创 谷歌具身智能VLA模型RT-H—— 基于语言的动作分层框架

RT-H 以相同的采样率，用语言化动作指令请求和机器人动作指令请求替代了 RT-2 中的机器人动作指令请求。语言化动作是以自然语言描述机器人行为的语义单元，它作为高层任务与底层机器人动作（Robotics Actions）之间的中间抽象层，通过分解任务意图生成可解释的动作序列，保留语言的可组合性与人类可干预性，但其本身不直接控制机器人的动作执行。例如，“倾倒杯中物体”与“拾取可乐罐”虽任务语义不同，但在物体被拾取前的语言化动作序列完全一致（如“接近物体→定位抓取→闭合夹爪”），实现动作层级的跨任务复用。

原创 中至科技港股IPO招股书失效，依赖房卡模式或成痛点

不过失效并不等于上市失败，曾有业内人士指出，“因为审计报告有效期届满等各种原因，港股IPO期间出现上市申请资料失效的情况并不鲜见，但上市文件失效不等于上市失败，拟发行人依然可以通过更新资料重新申请并‘激活’上市程序。禅游科技的毛利率则不足50%。《九江麻将》，《常熟麻将》以及《乐平麻将》的平均每月付费用户人数分别同比下跌88.78%，82.77%以及85.09%。据招股书显示，目前中至科技较为赚钱的五款游戏分别为《上饶麻将》《南昌满江》《九江麻将》《常熟麻将》《乐平麻将》。手游那点事界面财经号。

原创 日麻Mortal

它介绍了该系统的架构、关键组件以及它们如何相互作用，从而打造出强大的麻将 AI。该系统采用模块化架构，可实现高效的训练、强大的游戏体验和灵活的部署选项。日本麻将 AI 系统，它将高性能 Rust 组件与 Python 深度强化学习。该竞技场可以模拟各种配置的游戏，支持批处理以实现高效的训练。本文档的以下部分提供了有关特定组件的更多详细信息，包括。四个主要子系统组成，通过两种主要语言实现：Rust。) 被设计为一个强大的麻将人工智能，与天凤的。，实现了日本麻将的规则和逻辑。它根据当前状态预测游戏结果，并在。

原创 xAI 把 Grok 的系统提示词全部公开了，我们看看DeepResearch的系统提示词怎么设计的?

Grok 3 是由xAI构建的充满好奇心的AI。

原创 一文读懂Buffer与Cache：开启性能优化的大门

从字面意思来看，Buffer 是缓冲区，Cache 是缓存。它们都用于在内存中临时存储数据，但这两种 “临时存储” 又有着明显的区别。就好像你出门旅行，会带一个行李箱和一个随身小包。行李箱可以类比为 Buffer，它用来存放暂时不用，但后续可能会用到的物品，这些物品就像等待传输到其他设备的数据。而随身小包就像 Cache，里面装着你随时可能会用到的东西，比如手机、钱包，这些物品就像被频繁访问的数据，放在小包里能让你快速拿到，就像数据被缓存起来能被快速读取一样。

原创 终于不用羡慕老外了！美团竟然做出了类似V0&Bolt的AI编程神器

作为很看好 Vibe Coding 的人，我是非常希望国内有很好的 Vibe Coding 氛围和社群的，但是能用&好用的产品实在是太少了，美团这次 NoCode 的发布真的让很多有需求，但是没办法用国外产品的朋友看到了曙光。还有一个版本是因为过于实诚了，把网页的按钮描边样式写成了全局样式，把网页地图的样式也给改了，虽然风格化挺强挺有感觉，但是看不到地图的文字了，让他修复他也可以听懂要求，一次就改好了。

原创 再也不怕失业了，用Cursor做私活，一个月赚近20万！

有时候，还得分一部分工作找其他人帮忙完成，比如设计等任务，毕竟小王也不是全栈。所以，一般一个项目，最终。小王讲，现在Claude 4出来以后，准确性大大提升，很多几乎都是一次性完成。在AI编程时代，AI是一把利剑，有的人，会驾驭使用AI，效率提升百倍者皆有；小王讲，以前一个项目需要耗费他三四周，现在只需两三个小时，即可完成设计、前后端，还包括测试。小王为了让自己赚私房钱更快更轻松，也研究了很多AI工具，特别是Cursor和Devin。虽然开发速度提升了，但是项目报价未变，所以大大提升了他的赚钱速度。

原创 心理学上有个词叫：鳄鱼效应（如果一个人突然对你“断崖式”冷落”，千万不要追问，你只需做这三步！）

故事讲的是：有一个小怪兽，他的心里装着各种各样的颜色，黄色是快乐的太阳，蓝色是忧郁的小雨，红色是愤怒的火焰，黑色是胆小的缩影，绿色是平静的植物...从情绪认知，情绪表达，情绪调节 三个方面让我们明白：情绪没有好坏之分，无论是积极的还是消极的，它们只是我们的一部分，都是正常的，我们要接纳它，也就是。对方回答道：我不想跟你说话。告诉我们：当鳄鱼咬住你的脚，越挣扎只会让它撕下更多的血肉，唯一的办法就是“果断舍弃这只脚。把让你痛苦的事情装进日记本，脑子糊涂的时候，情绪反扑的时候，翻开日记本多看两遍就醍醐灌顶了。

原创 阿里巴巴重回正轨，马云开始反击

对此，蔡崇信曾在不久前的阿里亲友见面会上解释过：“电商的业务并不占领对互联网的入口，因为电商是一个垂类，有更多其他的互联网公司占取了对用户的入口。但如果我们能聚焦在AI上的话，能够对整个入口的突破，也许我们可以把新的入口用 AI的方式做出来，让我们增加更多的用户”于是今年开始，阿里AI产品的行业渗透范围迅速扩大，不仅覆盖了互联网、智能汽车、金融等早期采用行业，养殖业、传统制造业等传统行业也开始积极探索AI应用，需求增长同样显著，这也给阿里带了了广阔的市场空间。“阿里的基因里没有‘守成’，只有‘创造’。

原创 独家｜为RAG准备好PDF

北京大学应用心理硕士，数据分析爱好者。本科曾混迹于计算机专业，后又在心理学的道路上不懈求索。在学习过程中越来越发现数据分析的应用范围之广，希望通过所学输出一些有意义的工作，很开心加入数据派大家庭，保持谦逊，保持渴望。