- 博客(42)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 【AIGC】人像驱动终结者？全网最细 Wan-Animate 论文阅读笔记
本文提出Wan-Animate，一个基于Wan视频模型的统一框架，支持高质量角色动画与替换。该模型通过解耦身体动作（骨骼控制）和面部表情（人脸驱动）实现精准控制，并引入Relighting LoRA模块解决角色与环境光照融合问题。Wan-Animate采用渐进式训练策略，统一处理动画和替换两种任务模式，在定量指标和人类评估中均优于现有方法。作为开源框架，其发布将推动角色动画技术的发展和应用创新。未来可扩展多角色交互、音频驱动等方向。
2025-09-20 16:13:11
567
原创 【Optimization】优化器的超详细选型指南，说说那些比AdamW“好用”的优化器
过去两年，新优化器层出不穷，动辄“2×加速”“吊打AdamW”。但真到业务里跑一趟，多半会发现： - 复现不出论文曲线； - 一上1 B+模型优势就消失； - 超参调不好，新优化器还不如AdamW。 本文分析11种优化器、4个模型尺度、4组数据预算的严格对照实验，把“为什么你踩坑”写成了标准答案。本文把工程细节、超参分布、代码级注意事项全部抠出来，结合一线业务经验，写成一份“能直接抄作业”的实操手册。
2025-09-15 15:53:30
439
原创 【AI-Infra】从KV Cache到PagedAttention，一文搞懂大模型核心优化技术
本文系统探讨了大语言模型（LLM）推理优化的关键技术。首先分析了核心业务指标（TTFT、TPOT、吞吐、并发度）与四大资源瓶颈（算力、显存、带宽、通信）的制约关系。重点剖析了Transformer推理的两阶段特性：Prefill阶段的算力瓶颈与Decoding阶段的访存瓶颈。针对显存管理的核心挑战，详细介绍了PagedAttention的分块存储机制和Continuous Batching的动态调度策略，这些革新使显存利用率提升至97%，吞吐提高2.2倍。此外还探讨了分布式并行策略（TP/PP/3D）、计算
2025-09-10 11:52:58
339
原创 【AIGC】一文详解针对大模型推理的动态显存管理技术
本文介绍了一种动态显存管理技术，用于解决大模型推理时的显存瓶颈问题。该技术通过运行时细粒度模块管理，在有限显存下运行超大规模模型。核心创新包括：1）自动模块替换机制，将原生PyTorch模块替换为具备显存管理能力的智能模块；2）三态管理系统（卸载/加载/常驻），根据实时显存状态动态决策；3）在forward方法中嵌入动态决策逻辑，实现高效显存调度。相比传统静态加载方法，该技术无需修改模型代码，能够自动适应显存波动，显著提升大模型的可部署性。关键技术点包括模块递归替换、实时显存检测和状态切换机制，为资源受限环
2025-09-09 17:53:23
821
原创 【Optimization】深入解析模型权重平均（EMA）技术
本文探讨了深度学习中的指数移动平均（EMA）技术，它能有效缓解训练震荡和性能瓶颈问题。EMA通过平滑模型权重变化，创建更稳定的“影子模型”，其核心是动态加权平均公式，能帮助模型找到泛化性更好的平坦最小值。文章详细解析了一个支持动态衰减率的PyTorch实现，并对比了EMA与优化器的互补关系：优化器负责梯度更新方向，而EMA则平滑参数轨迹。实践表明，EMA特别适用于追求SOTA性能的场景，但在快速原型阶段可暂不使用。这种技术以低成本实现了类似模型集成的效果，是提升模型鲁棒性的有效工具。
2025-09-03 17:19:32
722
原创 【具身智能】EmbodiedOneVision: Interleaved Vision-Text-Action Pretraining for General Robot Control
本文提出了一种名为EO-1的统一具身基础模型，通过交错式视觉-文本-动作预训练范式，实现了机器人控制中推理与行动的无缝结合。该模型采用单一解码器架构，整合文本生成和连续动作预测，利用流匹配去噪技术生成精确控制信号。研究构建了包含150万样本的交错式数据集EO-Data1.5M和评估基准EO-Bench。实验表明，EO-1在具体化推理和机器人控制任务上优于现有模型，展示了统一架构在开放世界任务中的强大泛化能力。该工作为发展高级具身智能提供了重要基础。
2025-09-03 16:23:42
938
原创 【Optimization】深入解析权重衰减（Weight Decay）的原理及作用
本文深入解析了机器学习中权重衰减（Weight Decay）的原理与作用。权重衰减通过在损失函数中添加L2正则化项（λ/2·||w||²）来惩罚大权重，在梯度下降时使权重持续向零收缩（w_j ← (1-αλ)w_j）。这种机制能有效防止过拟合：小权重使模型更平滑，降低对噪声的敏感度，促进多特征均衡利用而非依赖单一特征。值得注意的是，权重衰减通常仅作用于权重参数而非偏置，因为权重数量级更大且对模型复杂度影响更关键。这一经典技术通过数学约束实现了模型复杂度的控制，体现了"简单即有效"的机器学
2025-08-31 10:07:14
973
原创 【AIGC】从 ODE-based 生成模型到 Rectified Flow
摘要： Rectified Flow（RF）通过优化ODE轨迹直线度，实现单步生成。其核心是在满足边缘分布约束的向量场中，选择路径最短的场，最小化离散误差。通过迭代直线化（k-RF），模型可收敛至线性插值场，支持单步ODE求解。实验表明，k=2时FID显著改善，而k≥3时收益递减且可能引发模式坍塌。工业应用推荐1-RF+2-RF精炼，学术研究可探索k=3并引入正则项。未来方向包括单阶段多直线化与混合机制优化。
2025-08-29 16:44:42
576
原创 【AIGC】VAE训练问题之后验坍塌
本文系统分析了变分自编码器(VAE)中的后验坍塌问题及其解决方案。首先介绍了VAE的目标函数ELBO，包含重构误差和KL正则项，指出后验坍塌即KL项趋近于零导致隐变量失效。文章提出了多种诊断方法，包括监控训练曲线和分层条件分析。重点阐述了6类解决方案：KL退火调度、Free Bits约束、解码器正则化、Scale-VAE、CR-VAE对比学习以及逆Lipschitz约束等。这些方法通过平衡KL项与重构项、增强编码判别性或限制解码容量来防止坍塌。研究表明，通过动态调节KL权重和引入额外约束，可以有效改善VAE
2025-08-29 15:23:28
861
原创 【AIGC】从确定性路径到随机游走： 深入解析常微分方程（ODE）与随机微分方程（SDE）
本文探讨了从确定性常微分方程（ODE）到随机微分方程（SDE）的演进逻辑。第一部分解析ODE的核心概念与解法，包括变量分离法和积分因子法，并对比不同记法的适用场景。第二部分揭示确定性模型的局限，通过维纳过程引入随机性，解释布朗运动等不可微现象。第三部分构建SDE的数学框架，详解伊藤引理和几何布朗运动的求解过程，阐明漂移项与扩散项的物理意义。全文通过理论推导与Python代码示例，展示何时使用ODE（如电路分析），何时需要SDE（如金融建模），为复杂系统的确定性/随机性混合建模提供方法论指导。
2025-08-29 11:20:29
622
原创 【具身智能】从笛卡尔空间到逆向动力学
摘要： 本文系统梳理了机器人学的核心概念，包括笛卡尔空间（人类直观的任务描述）与关节空间（机器人执行的运动描述）的区别，以及两者间的转换机制——正向/逆向运动学（FK/IK）。进一步探讨了动力学如何将力与运动关联，并分析了6轴机器人成为主流的原因（6自由度匹配三维空间需求）。文章揭示了从任务规划到物理执行的理论框架，为理解机器人"思考"与"行动"提供了完整视角，同时指出掌握这些原理对开发创新解决方案的重要性。
2025-08-28 16:14:10
1379
原创 【目标检测】一文吃透目标检测评估指标：AP 与 mAP 的概念、计算与代码实战
本文摘要：AP（Average Precision）是单类别P-R曲线下面积，mAP则是所有类别AP的平均值。在目标检测任务中，仅用Accuracy无法有效评估模型性能，需结合Precision和Recall。AP的计算包括匹配预测框、排序、累计指标、平滑曲线和求面积5个步骤，有11点插值和全点插值两种方法。mAP通过平均各类AP得到，常见变体包括mAP@0.5和mAP@0.5:0.95等。文章还提供了Python实现示例、与F1-score/AUC的区别对比，以及使用COCO API计算mAP的实战代码。
2025-08-23 23:35:13
956
原创 【AIGC】深入理解生成模型：Diffusion与Flow Matching
本文探讨了扩散模型（Diffusion Models）和流匹配（Flow Matching）两种生成模型训练方法。通过定义高斯概率路径、边际分布路径等概念，分析了条件向量场与边际向量场的数学关系，并推导了条件得分路径和得分函数转换公式。重点对比了流匹配损失（FM）与得分匹配（SM）的训练目标，证明二者在高斯路径下存在等价性。研究表明，流匹配通过优化向量场使样本演化符合真实分布，而得分匹配则学习分布对数密度的梯度，两者本质上是同一问题的不同表述形式，最终优化目标具有一致性。
2025-08-21 13:13:25
615
原创 【AIGC】扩散模型加速：从Flow Matching到Rectified Flow再到Reflow
摘要： 近年来，基于连续归一化流（CNF）的生成模型取得显著进展，以Flow Matching（FM）、Rectified Flow（RF）和Reflow为代表的技术突破了传统流模型的训练和采样瓶颈。FM通过向量场回归实现高效训练；RF在FM框架下强制学习直线路径，大幅提升采样效率；Reflow则通过迭代优化进一步拉直路径，实现高质量一步生成。三者形成“通用框架→目标模型→优化技术”的递进关系，为生成模型的高效化提供了清晰的技术路径。
2025-08-20 16:52:41
694
原创 【AIGC】DDPM scheduler解析：扩散模型里的“调度器”到底在调什么？
扩散模型中的调度器（scheduler）核心功能是预计算所有时间步的加噪/去噪系数，避免实时计算的开销。以DDPM为例，其通过线性β调度生成噪声方差β_t，并衍生出α_t（保留率）、ᾱ_t（累积保留率）等关键张量，用于控制前向加噪过程（如公式$x_t = \sqrt{ᾱ_t}x_0 + \sqrt{1-ᾱ_t}ε$）和反向去噪的权重分配。代码中通过向量化一次性计算sqrt_recip_alphas、posterior_variance等8个核心张量，实现高效索引。理解这些系数的物理意义（如√ᾱ_t控
2025-08-17 13:56:19
565
原创 【AI-Infra】深入 Nano-vLLM
Nano-vLLM是一个轻量级大模型推理引擎实现，其设计核心包含三个关键模块： LLM引擎通过step()方法驱动"调度→推理→后处理"的循环流程，动态协调请求处理 调度器采用动态批处理策略，优先处理prefill请求，在KV缓存不足时执行抢占机制，确保GPU高利用率 KV缓存管理创新性地实现前缀缓存，通过块哈希复用相同prompt的计算结果，显著提升prefill效率。该系统以约1200行Python代码实现了大模型推理的核心优化技术，包括PagedAttention、动态批
2025-08-15 16:42:31
1105
原创 【深度学习基础】贝叶斯理论
本文系统介绍了贝叶斯理论在深度学习中的核心内容。首先建立概率论与信息论基础，包括概率三元组、KL散度等概念。重点阐述贝叶斯定理、共轭先验、变分推断和蒙特卡洛方法等核心理论。随后探讨贝叶斯神经网络、深度生成模型中的贝叶斯组件，以及高斯过程和贝叶斯优化等应用。最后介绍PAC-Bayes理论、近似推断技巧和可扩展贝叶斯方法。文章为深度学习中的贝叶斯方法提供了从基础理论到实际应用的全方位指导，包含重要公式推导和实用代码实现建议。
2025-08-11 16:03:24
838
原创 【深度学习基础】概率论
本文系统梳理了深度学习研究者必备的概率论知识，从基础的概率空间与测度论，到关键概念如条件概率、Bayes定理、期望方差，再到常用分布族和信息论量。重点解析了多元高斯、变分推断、蒙特卡洛方法等深度学习核心工具，并特别强调重参数化技巧在反向传播中的关键作用。每个知识点均提供理论定义、在DL中的典型应用场景及延伸阅读资料，为研究者构建坚实的概率基础框架。
2025-08-06 01:32:56
1010
原创 【具身智能】Surge AI创始人访谈：为何他认为合成数据不是未来？
**摘要：**Surge AI作为数据标注领域的隐形巨头，在没有融资的情况下实现10亿美元年营收，服务对象包括Google、OpenAI等科技巨头。创始人Edwin Chen提出独特见解：1）反对为融资而创业，认为初期应专注产品而非融资；2）强调高质量"写诗"级数据的价值，而非传统"画框"式标注；3）质疑合成数据的实际效用，指出其泛化能力不足；4）批评LMArena等模型评测机制导致"点击诱饵"式优化。Chen认为AI的真正价值在于赋能顶尖人才，而
2025-08-04 16:50:54
495
原创 【具身智能】深入解析 102 个模型、26 个数据集与 12 个仿真平台
万字长文综述：VLA模型引领机器人技术革命 这篇综述系统梳理了视觉-语言-动作(VLA)模型领域的最新进展，分析了102个模型、26个数据集和12个仿真平台。VLA模型通过整合视觉感知、语言理解和机器人控制三大能力，正在推动机器人技术从专用脚本向通用智能体转变。文章详细解构了VLA模型的四大技术支柱：Transformer架构、视觉Transformer(ViT)、大语言模型(LLM)和视觉语言模型(VLM)，并剖析了主流VLA架构的组成模块和关键趋势。研究发现，虽然视觉和语言编码器趋于标准化，但动作解码器
2025-07-30 10:59:42
959
1
原创 【具身智能】智源大会 Physical Intelligence CEO分享
智源大会Physical Intelligence：π0 VLA通用机器人模型技术解析 2025年标志着机器人领域"预训练大模型"时代的到来，π0 VLA作为首个可商用的通用机器人模型，通过1万小时跨本体数据预训练和20小时任务特定数据微调，实现零样本操作能力。技术架构上，π0将视觉语言模型(VLM)与动作解码器结合，采用离散化动作token预测机制，在叠衣服等任务中达到92%成功率。RT-X开源数据集提供50TB跨机构数据支持，实验显示预训练可使新环境任务成功率提升28.5%。尽管动态
2025-07-26 00:30:11
731
原创 【具身智能】Sporks of AGI 阅读笔记
UC伯克利教授Sergey Levine指出，当前机器人领域过度依赖仿真、人类视频等替代真实机器人数据，但这种做法将解决方案锁定在狭窄的交集区域。随着模型能力提升，这些手工设计的映射关系反而会成为性能瓶颈。真正的通用机器人大模型必须基于机器人在真实世界自主执行任务的数据，仿真和人类视频只能作为预训练素材。
2025-07-23 18:01:52
1151
原创 【MAC】 安装Nginx、更改端口号及停止 Nginx 服务教程
本文介绍了在Mac上安装、配置和管理Nginx服务的完整流程。主要内容包括：1)使用Homebrew一键安装Nginx；2)通过修改nginx.conf配置文件更改默认端口号（8080改为其他端口）；3)使用命令行停止Nginx服务的两种方法。文章还提供了常见问题的解决方案，如端口冲突、防火墙限制和配置文件错误等。适用于需要在本地开发环境中快速部署和配置Nginx的开发人员。
2025-07-22 10:51:38
601
原创 【Anaconda】Conda 虚拟环境打包迁移教程
本文介绍使用conda-pack工具打包和迁移Conda虚拟环境的完整流程。首先需安装conda-pack工具（可通过conda或pip安装），然后使用conda pack -n 环境名 -o 输出文件命令打包环境。将生成的压缩包复制到目标电脑后，解压到conda的envs目录下即可完成迁移。最后通过conda env list验证迁移结果，迁移后的环境包含所有依赖包无需重新安装。文中还提供了国内镜像安装、权限问题等实用提示。
2025-07-20 14:03:48
2798
原创 【AIGC】深入浅出Score-based model：从零构建基于分数的生成模型
基于分数的生成模型（如扩散模型）通过噪声扰动数据分布，利用分数匹配学习梯度信息，结合朗之万动力学实现高质量样本生成。该框架克服了传统生成模型的"三难困境"，在样本质量、训练稳定性和似然评估间取得平衡。核心理论包含：1)分数函数（数据分布对数概率的梯度）规避了归一化常数难题；2)分数匹配通过等价形式学习真实分布梯度；3)去噪自编码与分数匹配的深刻联系；4)朗之万动力学利用分数函数实现采样。
2025-06-27 14:44:45
966
原创 【AI-Infra】大模型量化技术：从理论到实践深度解析
大语言模型(LLM)面临存储空间大、计算资源需求高、能耗高等挑战。量化技术通过将高精度浮点权重转换为低精度整数，有效解决了这些问题。本文系统探讨了量化技术的核心原理与应用。 量化技术主要应对三大瓶颈：显存容量限制、内存带宽不足及高能耗问题。其核心价值在于大幅压缩模型体积（如FP32转INT8可缩至1/4）、提升推理速度并降低能耗。
2025-06-25 16:38:39
1164
原创 【AI-Infra】深入GPU编程：从硬件架构到内核优化
本文深入探讨GPU编程的核心优化技术，从硬件架构到性能调优。首先解析GPU的物理结构，包括流式多处理器(SM)和CUDA编程模型的三层抽象(线程、线程块、网格)，揭示其高吞吐量的设计哲学。重点分析Warp执行机制和SIMT模型，说明延迟隐藏原理。随后详细讲解GPU多层内存架构(全局内存、共享内存、寄存器等)的访问模式和优化策略。最后介绍前沿性能优化技术，如Tensor Core和NCCL通信库。
2025-06-25 11:45:06
1237
原创 【AIGC】从像素到可能性：解构 Stable Diffusion 与 Sora 背后的 VAE 技术
现代生成式AI（如Stable Diffusion和Sora）的核心技术基础是变分自编码器（VAE）。文章系统梳理了VAE的技术谱系：从经典自编码器的数据压缩能力，到正则化自编码器的鲁棒性改进；重点解析了VAE如何通过概率化潜空间和ELBO目标实现高质量生成，以及关键的重参数化技巧；介绍了VAE的多种变体（如VQ-VAE、条件VAE）如何解决后验坍塌等问题；最后阐述了VAE在Stable Diffusion中作为潜在扩散模型的核心组件，以及在Sora中充当"视觉分词器"的关键作用。这一技
2025-06-24 19:25:07
1093
原创 【AIGC】DiT：从理论到实践，一文深入浅出带你学习Diffusion Transformer
DiT模型使用Transformer作为其主干网络，替代了传统的U-Net架构。这些模型在Latent Space中训练，通过变换器处理潜在的图像块（patches）。其中，每个tokens在序列中都有一个隐藏维度d，即向量大小。
2025-01-16 15:48:45
2112
原创 Meta人体AI模型 Sapiens：High-resolution models for human tasks
Meta公司一直是图像和视频模型开发的先锋，最近他们推出了一项名为Meta Sapiens的新模型，专注于与人类相关的任务。与Homo sapiens（智人）相似，Meta Sapiens模型旨在理解和模拟人类行为，包括理解身体姿势、识别身体部位、预测深度，甚至确定皮肤纹理等表面细节。本文将详细解析Meta Sapiens模型的三大支柱、技术实现以及代码实践。
2024-12-18 11:27:16
1223
1
原创 【AI-Infra】FLOPs、FLOPS和Params的含义、计算及其在PyTorch中的使用
在深度学习领域，模型的效率和复杂度是衡量算法性能的重要指标。FLOPs、FLOPS和Params是三个关键概念，它们分别代表了模型的计算量、计算速度和参数量。本文将详细解释这些概念，并展示如何在PyTorch中计算它们，以便更好地理解和优化我们的模型。
2024-11-08 11:14:31
1470
原创 【AIGC】用PyTorch实现混合专家（MoE）语言模型
DeepSeek-V2是一个具有2360亿参数的开源混合专家（MoE）语言模型，每个令牌激活21亿参数，支持最大128K令牌的上下文长度。在开源模型中，DeepSeek-V2实现了顶级性能，成为最强大的开源MoE语言模型之一。在MMLU（多模态机器学习）基准测试中，DeepSeek-V2以较少的激活参数实现了顶尖的性能。与前代模型DeepSeek 67B相比，DeepSeek-V2显著提升了性能，降低了42.5%的训练成本，减少了93.3%的KV缓存，并将最大生成吞吐量提高了5.76倍。
2024-10-26 23:56:15
1604
原创 【Linux运维】根据指令名称杀死进程
进程是计算机中正在执行的程序实例，是系统中最基本的执行单位之一。每个进程都有自己的进程标识符（PID），用于唯一标识和识别该进程。pkill是一个强大的工具，可以帮助你管理和控制系统中的进程。通过掌握其用法和技巧，以及相关的进程管理工具，你可以更有效地解决系统故障、优化资源利用，并实现自动化任务。希望本文能帮助你更好地理解和使用pkill命令。
2024-10-19 21:07:21
1058
原创 【AIGC】扩散模型中的Noise Scheduler技术解析
通过上述分析，我们可以看到Noise Scheduler在扩散模型中扮演着至关重要的角色。它不仅负责将噪声图像逐步还原为原始图像，还通过引入随机性来增加生成图像的多样性。DDPM作为扩散模型的一个经典实现，其模型和调度器的设计为我们提供了深入理解扩散模型的窗口。
2024-10-06 17:03:10
2625
原创 【AIGC】MimicMotion: High-Quality Human Motion Video Generation with Confidence-aware Pose Guidance
置信度感知：通过分析姿态估计的置信度，我们能够识别并减少不准确的预测对最终结果的影响。手部区域增强：我们特别关注手部区域的姿态估计，通过增加该区域的损失权重来改善手部变形问题。位置感知的Latent融合：我们提出了一种逐步融合latent vector的方法，以增强视频帧之间的时序平滑性。
2024-10-06 16:31:32
815
1
原创 【AIGC】为什么在训练时使用DDPM，而在采样时使用DDIM
本文讨论Stable Diffusion背后的两种关键技术：DDPM（Denoising Diffusion Probabilistic Models）和DDIM（Denoising Diffusion Implicit Models），并解释为什么在训练时使用DDPM，而在采样时使用DDIM。
2024-09-24 19:43:11
2209
原创 【AIGC】LoRA微调及其在多任务学习中的应用
LoRA微调技术不仅提升了参数和计算效率，而且通过合理的模型合并策略，使得大型语言模型能够在有限的资源条件下支持多任务处理。随着研究的不断深入，我们期待LoRA及其他高效微调方法在未来能够在更多的应用场景中发挥更大的作用，推动人工智能技术的发展和创新。
2024-09-21 18:50:03
1105
原创 【AIGC】大模型加载多个LoRA并灵活切换
LoRA是一种有效的模型适配技术，它通过在模型的权重矩阵中引入低秩结构来实现参数的高效更新。这种方法不仅减少了模型的存储需求，还加快了训练速度，使得在资源有限的情况下微调大型模型成为可能。
2024-09-21 16:22:07
4028
原创 处理 pip 安装时的哈希值不匹配问题
在 Python 开发的广阔天地中，使用 pip 来安装第三方库是家常便饭。但有时候，我们可能会遇到一个令人头疼的问题：“这些包与需求文件中的哈希值不匹配”。这个错误提示我们，下载的包的哈希值与 requirements 文件中指定的哈希值不一致。这究竟是怎么一回事？我们又该如何解决呢？
2024-09-19 11:43:40
2612
原创 Linux Shell中的输入输出重定向技巧
在Linux系统中，掌握输入输出重定向是一项基本而强大的技能。通过使用特定的符号，我们可以灵活地控制数据的流向。标准输入（文件描述符0）、标准输出（文件描述符1）和标准错误输出（文件描述符2）是Linux Shell环境中的三个基本通道。
2024-09-07 16:19:18
492
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人