- 博客(1014)
- 资源 (2)
- 收藏
- 关注
RSS订阅
原创 创意项目开源，文生图、排序/优选等...，持续开源更新！！
learn-to-rank框架，召回/粗排/精排/重排中的重排模块，之前主要是动态创意优化时对包括图片等特征进行重排。- GitHub - leeguandong/AllRank: learn-to-rank框架，召回/粗排/精排/重排中的重排模块，之前主要是动态创意优化时对包括图片等特征进行重排。GitHub - leeguandong/AllRank: learn-to-rank框架，召回/粗排/精排/重排中的重排模块，之前主要是动态创意优化时对包括图片等特征进行重排。，中文文生图算法集合。
2023-12-03 15:08:05
487
原创 sd_webui的实用插件，prompt/lama/human matting/...，持续开源更新！！
3.sd_webui_sghm 人像抠图，在人像场景比rembg好很多。1.prompt优化插件。2.lama图像修复插件。
2023-12-02 12:17:55
1632
原创 Training-Free 能拯救离散 Tokenizer 的量化损失吗？一次失败但有趣的尝试
探索 Training-Free 的离散 VQ Tokenizer 量化优化（TTQO）：通过冻结解码器的梯度信号在推理时优化 token 分配。实验发现天花板极低（+0.2dB），根因是现代码本（L2-norm+EMA+restart）使 nearest-neighbor 在数据流形上已近最优。一次失败但有价值的技术探索。
2026-06-22 14:10:01
43
原创 Vision Transformers Need More Than Registers
ViT 的 dense feature artifact（高范数 token、注意力图噪声、patch-text 对齐失败）不是独立问题，而是同一个根因的不同表现——CLS token 走捷径，利用数量占优的背景 patch来编码全局语义。论文称之为，并提出了一个零额外参数的频域 token 选择方案 LaSt-ViT 来缓解。这是一篇分析驱动的 CVPR 论文。核心贡献不在方法（方法极简），而在于提出了 lazy aggregation 这个统一解释框架，并用精巧的控制实验加以验证。
2026-06-22 11:16:10
237
原创 InsightTok 解读：让离散视觉 Tokenizer 把「文字」和「人脸」也重建清楚
解读清华&微软 InsightTok：用两个局部化、内容感知的感知损失（文字识别特征 + 人脸识别特征 + 面积加权），在 16k 码本、16x 下采样下显著提升离散 tokenizer 的文字与人脸重建保真度，几乎零额外训练开销，并可直接迁移到自回归图像生成。
2026-06-21 22:45:56
337
原创 Rethinking Cross-Layer Information Routing in Diffusion Transformers
论文：本文是我的精读笔记，梳理它的诊断、方法与实验，并谈谈个人看法。
2026-06-21 22:01:11
1064
原创 PiD: Fast and High-Resolution Latent Decoding with Pixel Diffusion
项目主页：https://research.nvidia.com/labs/sil/projects/pid/本文只做论文本身的精读总结，不做外延扩展。
2026-06-21 16:01:14
211
原创 SeaCache（CVPR 2026 Oral）：频谱演化感知缓存，训练无关加速扩散模型
本文先精读这篇训练无关的扩散加速工作——它的动机、频谱演化洞察、SEA 滤波器推导、缓存调度与实验；最后再附上我自己的一次复现与改进尝试作为收尾。
2026-06-21 15:43:51
472
原创 CVPR2026 | PositionIC：用NeRF的体渲染思路，解决多主体图像定制的位置控制难题
最近读到一篇 CVPR 2026 的工作，来自美团 MeiGen AI 团队和复旦大学。这篇论文要解决的问题很实际：现有的主体驱动图像生成方法（比如 UNO、DreamO），虽然在保持主体外观一致性上已经做得相当好了，但你没法精确控制生成的主体出现在图像的什么位置。想象一下你要做一张电商海报，两个商品需要摆在特定位置，或者你要画一本绘本里多个角色站在不同地方——现有方法基本上是"随缘摆放"。，用来处理多主体之间的遮挡关系。
2026-06-21 00:34:45
313
原创 Trust Your Critic: Robust Reward Modeling and Reinforcement Learning for Faithful Image Editing
FIRM引入了量身定制的数据管道，以合成高质量的奖励数据。构建了高质量的奖励数据集：FIRM-Edit-370k和FIRM-Gen-293K，以及相应的模型，FIRM-Edit-8B和FIRM-Gen-8B，这些模型是从Qwen3-VL-8B-Instruct模型初始化的，还构建了一个人类标准的基准FIRM-Bench。多模态大语言模型在作为zero-shot奖励模型用于精细图像编辑和生成任务时会遇到困难，这些模型固有的存在严重的幻觉，物体忽视和缺乏精确的空间推理的问题，导致不合理和噪杂的奖励得分。
2026-03-19 14:03:37
128
原创 Edit-R1: Reinforce Image Editing with Diffusion Negative-Aware Finetuning and MLLM Implicit Feedback
策略优化，rl的成功还依赖于高质量的奖励信号，大型语言模型非常适合图像编辑中所需的主观评估，提供与人类意图一致的评估，现有的mllm评分方法可以分为基于logit的方法，该方法使用标记分布统计进行可解释性，以及基于采用的方法，该方法从生成的输出中提取分数。监督微调的固有范式，sft目标往往使学习走捷径，导致模型忽视复杂的指令，仅仅恢复输入的内容，此外，其对大规模但多样性不足的数据集的依赖使得模型容易过拟合，损害了它们在不同任务上的指令保真度，使模型与人类意图对齐，基于rl的训练后对齐是一个方向。
2026-03-19 11:02:17
271
原创 SkyReels-Text:Fine-grained Font-Controllable Text Editing for Poster Design
fluxtext这样的模型将显式的视觉先验（例如渲染的文本内容，位置掩码）注入到强大的DiT主干中，他们缺乏接受用户提供的由visual patch提取的任意字体风格的机制，无法提供对输出排版的精细控制，无法保证编辑后的文本将准确模仿给定参考的字体风格。专业工作流中一个关键要求是能够快速修改文本内容，同时保持原始的视觉和谐，排版身份和美学意图，这不仅要求精准的字符展示，还需要对字体家族和风格细微差别的精细控制，尤其是在处理像手写文本这样复杂的文字。合成数据很多问题，从设计平台和公共资源库收集了真实的海报，
2026-03-18 18:24:01
260
原创 FLUX-Text: A Simple and Advanced Diffusion Transformer Baseline for Scene Text Editing
利用了AnyWord-3M数据集，多语言数据集，整合了多个数据，包括wukong（中文），Laion（英文），以及一些专门为ocr设计的数据，包括丰富的文本场景，例如城市风景、书籍封面、广告海报和电影画面，该数据集大概有3M图像，其中语言分布约为1.6M张包含中文文本，1.39M中包含英文文本，以及额外的10K张展示其他语言的文本，为了训练fluxtext，我们从AnyWord-3M中提取了一个小型数据集，包含100K图像，其中50K中文，50K英文。分别针对中英文的效果做了定制。
2026-03-18 16:41:07
578
原创 OmniText: A Training-Free Generalist for Controllable Text-Image Manipulation
OmniText 是一个的通用视觉文本操作框架，它通过在扩散模型推理阶段（实现无幻觉的文本擦除）并结合（动态计算 Loss 更新潜变量以精准控制内容与风格），在零微调成本下统一了图像文本的擦除、编辑与风格迁移等多项复杂任务。
2026-03-09 19:44:59
643
原创 ProEdit: Inversion-based Editing From Prompts Done Right
ProEdit的核心贡献在于它发现了 AI 编辑**“改不动”是因为“记性太好（过度保留原图信息）”**，并用一套巧妙的方法让 AI 在该改的地方“失忆”（接受新指令），在不该改的地方“记忆犹新”（保留背景）。ProEdit(arXiv:2512.22118) 针对的是基于模型（如 FLUX.1, HunyuanVideo, Stable Diffusion 3 等采用 MM-DiT 架构的模型）在源图像信息过度注入 (Excessive Source Information Injection)。
2026-03-09 10:09:23
631
原创 ConsistEdit Attention Injection 机制详解
通过在去噪过程中动态替换目标图像的注意力 Q/K/V，使其在非编辑区域"继承"源图像的注意力模式，从而实现精确的区域控制和内容保留。
2026-03-05 19:48:57
478
原创 ConsistEdit: Highly Consistent and Precise Training-free Visual Editing
针对 MM-DiT 架构定制的、基于 Vision Token 分离的 Q/K/V 解耦控制算法。它摒弃了以前模糊的 Attention Map 替换，转而通过直接操纵 Self-Attention 的输入矩阵，利用QKQ/KQK锁死几何结构，VVV控制语义渲染，实现了对生成过程的精确 surgical（手术级）干预。这可能是目前 DiT 架构下做 Video-to-Video 或 Image Editing 最稳健的 Training-free 基线之一。
2026-03-05 19:46:16
483
原创 UniReason 1.0: A Unified Reasoning Framework for World Knowledge Aligned Image Generation and Edit
这篇论文的工程落地价值很高。它证明了在统一自回归/Flow-Matching架构下，不必为了 T2I 和 Editing 维护两套复杂的控制逻辑。只要通过高质量的 Agent 合成数据流，将 Editing 作为 T2I 的 Post-generation Refinement step 融入马尔可夫链中，并通过 LLM/VLM 注入世界知识先验，就能大幅拔高模型在复杂长尾 Case 下的生成逼真度与逻辑正确性。
2026-03-02 11:34:37
668
原创 UniWorld-V1: High-Resolution Semantic Encoders for Unified Visual Understanding and Generation
UniWorld-V1 是一篇极具启发性的工作。它证明了在统一视觉生成框架中，高分辨率的对比学习语义特征（SigLIP）比基于重建的局部特征（VAE）能提供更好的泛化指导。结合高效的二阶段训练范式和精巧的 Mask-aware Loss Weighting，用极低的数据成本（2.7M）实现了跨感知、理解、生成的 SOTA 级端到端多模态大模型。模型权重、代码和清洗后的数据集已全部开源。
2026-02-26 20:45:51
627
原创 EditReward: A Human-Aligned Reward Model for Instruction-Guided Image Editing
针对开源指令引导图像编辑（Instruction-Guided Image Editing）缺乏高质量对齐数据和可靠评估指标的问题，论文提出了EditReward。这是一个基于 VLM 的人类偏好奖励模型（Reward Model, RM）。该工作的核心贡献在于构建了大规模、解耦维度的偏好数据集（200k+ pairs），并设计了一种**不确定性感知（Uncertainty-Aware）**的排序损失函数，以及针对“平局（Tie）”样本的特殊数据增强策略。
2026-02-12 17:43:40
781
原创 Group Relative Attention Guidance for Image Editing
Transformer 架构在图像生成任务中，Embedding 空间存在严重的“各向异性”或 Bias 主导现象。相比于在输出端（Logits/Noise）做干预，深入到 Attention 内部对 Key/Query 的分布做白化（Whitening）或重缩放，能获得更本质的语义控制能力。这是一个完全 Training-free 的 Trick，非常适合集成到现有的基于 Flux 或 SD3 的编辑管线中，作为用户调节“编辑强度”的高级参数。
2026-02-12 11:23:49
653
原创 TwinFlow: Realizing One-step Generation on Large Models with Self-adversarial Flows
其他方法（如 GAN）是找个考官站在靶子旁边喊：“打歪了！这是假的！”（只给是非反馈，不告诉怎么改）。我先瞎打一枪（得到xfakex_{fake}xfake我分析一下子弹是怎么飞到xfakex_{fake}xfake的（通过t0t<0t0的训练）。我计算出真靶心xrealx_{real}xreal和 假弹孔xfakex_{fake}xfake之间的矢量差。我直接修改我的枪管（模型参数），把这个矢量差抵消掉。
2026-01-15 11:59:56
354
原创 DMD 分布式蒸馏 / Self-Forcing
DMD 的核心目标是训练一个单步生成器（One-step Generator）GθG_\thetaGθ，使其生成的图像分布pθp_\thetapθ尽可能逼近原始扩散模型（Teacher）所代表的真实数据分布prealp_{real}preal。从数学上讲，DMD 旨在最小化两个分布之间的KL 散度（Kullback-Leibler Divergence）minθDKLpθ∣∣prealθminDKLpθ。
2026-01-14 15:32:14
367
原创 claude Skill
如果你是模型底层开发者：你关注Tool Use，优化模型调用的准确率。如果你是产品经理或业务开发者：你构建的是Skill，通过组合工具来解决业务问题。最重要的是，如果你希望你的 AI能连接万物（本地文件、数据库、Slack、GitHub），你现在必须关注MCP。结论Claude 分析项目时，Tool Use是它的手，Skill是它脑子里的工作流程，而MCP是它连接你项目代码（文件系统/GitHub）的那根通用数据线。Claude 最近推出的（以及配套的标准），赋予了 Skill 完全不同的含义。
2026-01-14 10:58:28
423
原创 Z-Image: An Efficient Image Generation Foundation Model with Single-Stream Diffusion Transformer
6B 的 Dense 模型配合高效的架构（Single-Stream）和极高质量的数据，完全可以打败 20B+ 的模型。论文花了大量篇幅讲 Data Profiling 和 Active Learning。这再次印证了在预训练阶段，清洗数据的 Pipeline 价值高于模型调优。DPO, GRPO, RoPE, Chain-of-Thought (在 Caption 生成中用到) 这些 LLM 里的标配技术，正在全面接管 CV 生成领域。
2026-01-12 17:48:43
324
1
原创 Qwen3-VL Technical Report
为了解决这个问题，Qwen3-VL 不再按块切分，而是采用**交错（Interleave）**的方式分配维度。这不仅仅是简单的“把图变成 Token”，而是一套为了极致压缩 Token 数量同时保留高频细节的工程化方案。这是 Qwen3-VL 最硬核的部分，它复现了 OpenAI o1 的路线，但在多模态领域。（需要低频的时间定位），模型都能在 Embedding 空间中找到对应的频段来承载这些信息。最后，所有的 Visual Tokens 进入 LLM 时，会被加上我们在上一轮讨论过的。
2026-01-12 00:28:53
290
原创 Wan2.1/I2V模式
Scaling Law 的胜利：Transformer (DiT) 架构允许参数量和数据量暴力堆叠，上限远高于 3D U-Net。：提供了比 Diffusion 更优的数学收敛路径，解决了视频生成中“画面糊”和“运动不连贯”的问题。：解决了长视频的时空一致性问题（不会出现人物走着走着换了张脸）。数据工程：阿里的数据清洗能力（尤其是视频-文本对齐）起到了决定性作用。如果你要复现或研究，建议重点关注3D VAE 的 temporal compression 策略以及。
2026-01-11 16:27:34
277
原创 DeepSeekV3/R1
是这个科学家的**“原生大脑与身体”**。它天资聪颖（MoE架构），记忆力好且反应快（MLA），基础知识极其扎实（海量数据预训练）。如果你问它“西红柿炒蛋怎么做”，它不需要深思熟虑，直接调动“常识区”就能回答。是这个科学家经过**“魔鬼特训”**后的状态。通过GRPO，它学会了遇到难题先拿草稿纸演算（<think>标签）。它学会了如果做不出结果，就换一种思路，或者检查上一步（自我纠错）。最关键的是：R1 的权重其实是基于 V3 的。换句话说，R1 = V3 + 思维链训练（SFT+GRPO）。
2026-01-09 14:30:26
190
原创 MOE解释
特性Standard MoE (如 Mixtral)Qwen-MoE专家总数少 (例如 8个)极多(例如 64/128/256个)多 (例如 60个)激活数量Top-2Top-K (例如 6或8)Top-4核心创新基础 Top-K 路由共享专家 (Shared Experts)细粒度 + Dense 模型热启动优势实现简单，推理快知识界限更清晰，通用能力强训练成本极低，从 Dense 快速转换。
2026-01-09 00:30:00
96
原创 DreamID-V:Bridging the Image-to-Video Gap for High-Fidelity Face Swapping via Diffusion Transformer
DiT 确实是视频生成的未来别死磕 U-Net 了。处理视频这种长序列、多条件的任务，DiT（Transformer）的 Attention 机制在时序一致性和 Condition 注入上，比 3D-Conv 或 Temporal-Attention 的 U-Net 更加优雅且上限更高。数据不够，合成来凑（且要闭环）在没有 Paired Data（成对数据）的场景下，不要只指望非监督学习。利用现有的 SOTA 单图模型构造“高质量伪数据”，先让模型把流程跑通。
2026-01-08 15:16:42
137
原创 DreamID
别只盯着模型结构，的数据构造才是让模型学会“换脸”而不是“拼脸”的关键。利用现有的 GAN (如 FaceDancer, SimSwap) 去离线生成伪 Target，构建 <Source, Pseudo-Target, GT> 数据对。传统的 Latent Diffusion 训练很难加 Image-Level Loss。使用 Turbo 类模型作为 Base，可以将训练退化为类似 GAN 的 Generator 训练模式，从而引入强监督信号。
2026-01-08 10:56:57
80
原创 claude使用总结
4. 重要功能完成后打tag - git tag -a v1.0 -m "版本说明"git reset --hard <commit-id> # 回退到指定版本。3. 经常性的做小commit - 不要积累太多修改才commit。# 丢弃工作区所有未提交的修改（回到最后一次commit的状态）git log --oneline # 简洁查看提交历史。# 回退到上一个commit（丢弃当前所有未提交的修改）git commit -m "描述你做的修改"git checkout -- <文件名>
2026-01-08 09:47:49
849
原创 EditThinker: Unlocking Iterative Reasoning for Any Image Editor
EditThinker 就是一个拥有“反思能力”的 AI 大脑。它让 AI 修图不再是碰运气，而是像人类设计师一样，通过“观察结果 -> 发现问题 -> 调整指令 -> 重新尝试”的迭代过程，最终交出完美的作品。将图像编辑任务从单纯的“生成问题”重构为“推理+规划问题”。EditThinker 实际上是实现了一个针对 Image Editing 的 Agent。数据层面：它证明了包含“错误-修正”过程的 Trajectory 数据比单纯的 (Instruction, Image) 对更有价值。模型层面。
2026-01-07 17:43:29
106
原创 Group-Relative Attention Guidance for Image Editing
它把图像信号拆解开来，让你能单独控制“整体结构”和“编辑细节”的权重，从而实现指哪打哪、想改多少改多少的精准修图体验。最厉害的是，它代码极少（只要4行），无需训练，是一个性价比极高的技术改进。这篇论文本质上是在Attention机制的特征空间内做了一次“信号解耦与重加权”。我们可以把 GRAG（Group Relative Attention Guidance）理解为一种基于统计特性的 Attention Logit 缩放（Logit Scaling）策略。作为算法工程师，你可以把GRAG看作是一个。
2026-01-06 19:43:10
478
原创 Kling-Omni Technical Report
作为算法工程师，你能看到 Kling-Omni 并不是在算法原理上发明了全新的数学公式，而是极其扎实的 Engineering Alignment (工程对齐)彻底打通图/文/视 Token，消除了模态隔阂。构造了复杂的 Interleaved 数据来教模型“推理”和“编辑”。从 DPO 的选择到 Elastic Ulysses 并行，全是针对“视频生成算力太贵”这个痛点的精准手术。它不仅仅是一个生成模型，更像是一个具备物理常识的、高效的视觉渲染引擎。
2026-01-06 17:28:05
100
原创 Flow Matching / Diffusion model
流”就是沙子移动的轨迹。在这个过程中，每一粒沙子（数据点）都需要从混乱的状态移动到图像中正确的位置。随着时间的推移，所有沙子的整体移动看起来就像水流一样，这就是“Flow”。Diffusion: Target 是noise(随机变量)。: Target 是(从噪声指向原图的向量)。看似只是减法的对象变了，但实际上这把生成过程从“去噪概率模型”变成了“确定性流体动力学模型”，这也是为什么现在 SD3 和 Sora 效果更好、生成更快的数学根基。要理解为什么Flow Matching（流匹配）是比。
2026-01-05 19:44:51
465
原创 Uniworldv2
本质上是一个基于 Flow Matching 的 On-policy RL 框架。它抛弃了昂贵的 SFT 数据标注，转而利用 MLLM 的 Logits 作为稠密奖励信号，配合负样本感知的速度场微调（DiffusionNFT），并辅以方差过滤策略来保证训练稳定性。在多模态生成领域，SFT 只是“预训练”，真正的能力对齐（Alignment）和泛化，还得靠高质量的 Reward Model + 强化学习。而且，利用 MLLM 的 Logits 作为 Reward 是一个非常值得借鉴的低成本方案。
2026-01-05 14:53:31
87
原创 Flow-GRPO
它证明了 GRPO 这种不需要 Value Network 的轻量级 RL 方法是通用的。通过 ODE-to-SDE 的等价转换，给出了一个数学上优雅、工程上高效的解决方案。Denoising Reduction 告诉我们，RL 训练不需要高清图，只要“结构对”就行。这为未来的视频生成模型（Video Gen）RL 训练铺平了道路（视频生成太慢了，必须减少步数才能训练）。如果你想优化业务中的文生图/文生视频模型，让它更听话（听从复杂指令），不要再去折腾 SFT 数据了，
2026-01-05 14:23:40
108
原创 ROPE的通俗解释
像给每个词发个死板的座位号。像让每个词根据位置跳个旋转舞。它就是一个极其精准的**“空间+时间”定位器**。它确保了眼睛长在鼻子上（空间一致性），确保了这一秒的你和下一秒的你是同一个人（时间连贯性）。既然老板想要“去比喻化”、结合具体算法机制的解释，那我们就扔掉风筝和检票员，直接看 RoPE（Rotary Positional Embedding）在数学和代码逻辑层面是如何运作的，以及它如何在 2D 和 3D 数据中实施。维度输入坐标。
2026-01-05 13:59:06
185
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人