- 博客(58)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 重参数训练
在训练和推理阶段使用不同网络结构，通过参数等价转换实现结构解耦的技术 [[2]]。训练时采用多分支复杂结构提升表达能力，推理时转换为单分支简洁结构保证效率 [[1]]。
2026-01-30 11:33:46
624
原创 Z-Image模型架构全解析
噪声精炼器(2层)：专注于噪声预测精度提升，减少生成图像中的伪影与噪声上下文精炼器(2层)：强化语义一致性，确保生成内容与输入提示的精确匹配极致参数效率：6B参数实现超越更大规模模型的性能，训练成本仅314K H800 GPU小时密集跨模态交互：单流设计使文本、视觉、图像信息在每一层深度融合，语义对齐更精准训练稳定性：Zero-init Gate与RMSNorm组合，支持深层网络稳定训练灵活多任务支持：统一架构自然支持文生图、图生图、图像编辑等多种任务高效推理优化。
2025-12-31 15:37:42
1011
原创 文生图大模型技术演进方向
NanoBananaPro在图像生成领域实现重大突破，核心升级包括：1）引入"思考核心"架构，先逻辑规划后渲染，显著减少空间错误；2）支持14张参考图融合，实现少样本学习；3）分辨率提升至2K-4K，细节更逼真；4）精准文字渲染能力。技术突破源于知识对齐与物理世界模型的融合，通过Google搜索锚定事实数据，采用视觉-语义深度耦合架构。未来趋势将向可解释编辑、全生命周期一致性、实时交互和3D模拟方向发展。该模型解决了传统AI生图的空间混乱、风格割裂和事实错误等痛点，成为真正的生产力工具。
2025-12-25 11:24:48
925
原创 Flux.2 技术解读
模型：https://huggingface.co/black-forest-labs/FLUX.2-dev技术报告： https://bfl.ai/blog/flux-2。
2025-11-26 15:19:21
1035
原创 【强化学习】DP2O-SR
DP2O-SR 通过精心设计的混合 IQA 奖励和分层偏好优化 (HPO)策略，成功地将生成模型（如 C-SD2 和 C-FLUX）的强大生成能力引导至符合人类感知偏好的方向。它将生成模型中的随机性从一个缺点转变为一个有价值的监督来源。该方法在实验中取得了显著效果，尤其是在提高最差输出质量 (Worst@M)方面表现突出，提升了模型的鲁棒性和输出的一致性。此外，尽管训练奖励是基于全局 IQA 指标，但模型展示出局部细节的隐式学习和优化能力（例如，对翅膀结构的精细化），这表明了偏好学习的强大泛化作用。
2025-11-25 16:45:02
699
原创 【强化学习】Semantic Relative Preference Optimization
如果将扩散模型的训练比作驾驶汽车，那么传统在线 RL 限制在后期时间步优化，就像只允许在汽车快要抵达终点时微调方向盘，容易导致终点附近的过度转向（奖励欺骗）。SRPO 引入的。
2025-11-25 14:29:07
593
原创 MSRoPE技术解析
Qwen-Image 的MSRoPE通过中心坐标归一化、文本对角嵌入、动态频率调制跨模态位置统一：文本与图像在二维空间自然融合；分辨率无关编码：从 256×256 到 1328×1328 的无缝适配；工业级可用性：成为首个支持复杂中文渲染的开源图像生成模型（HuggingFace 已开源）。技术演进建议：未来可探索 MSRoPE 在视频生成中的时空扩展（如叠加帧间运动编码），进一步强化动态场景一致性。
2025-08-14 10:38:44
698
原创 基于RoPE的优化
SeedDream和BAGEL的RoPE优化分别从视觉位置适应性和多模态统一性SeedDream的Scaling RoPE以图像中心为基准动态调整编码，解决多分辨率泛化问题；BAGEL的M-RoPE通过多维扩展和频率调制，实现文本、图像、视频的位置编码统一，并结合MoE架构支持复杂跨模态任务。两者共同推动了RoPE在生成式AI中的实用边界，为多模态大模型提供鲁棒的位置感知基础。
2025-08-12 17:13:30
498
原创 RoPE技术解析
RoPE的价值：以绝对位置编码实现相对位置感知，成为大模型位置编码的事实标准。工业实践建议通用场景：原生RoPE（如LLaMA实现）。长文本：YaRN + NTK混合策略（如DeepSeek-V2）。多模态：采用M-RoPE范式统一编码。附：改进方法对比表方法核心思想效果适用场景PI线性缩放位置索引支持2→8k外推中等长度扩展NTK-Aware高低频差异化处理平衡远近位置感知需强远程依赖任务YaRN动态调整注意力分布128k+上下文保持稳定性超长文本如需深入实现细节，可参考。
2025-08-12 10:00:00
1275
原创 encoder-only / decoder-only / encoder-decoder架构分析
维度参数量低（1亿-4亿）高（十亿-万亿）中高（编码+解码双倍）训练成本低中高典型任务分类/理解生成/对话翻译/摘要2025占比＜10%＞80%～10%核心争议与趋势Decoder-only主导原因零样本能力与生成灵活性满足通用AI需求。工程友好：推理并行化程度高，更适合大模型部署。Encoder-Decoder潜力研究指出：同等参数量下，Encoder-Decoder在精确任务上有未释放潜力（需系统验证）。融合架构探索前缀语言模型。
2025-08-11 16:19:25
1462
原创 CLIP在文生图模型中的应用
Flux则采用“CLIP+T5”双引擎策略，牺牲显存换取了长文本和细节生成的优势。CLIP文本编码器将提示词（Prompt）转化为高维语义向量，与图像特征在共享嵌入空间对齐，确保生成内容符合文本描述。SigLIP虽在训练效率上有优势（Batch Size需求降低90%），但零样本能力弱于CLIP，暂未成为主流选择。CLIP的开源生态提供丰富变体（如ViT-L/14、RN50），便于针对硬件和任务定制。CLIP的开放词汇特性使模型无需微调即可适应新概念（如艺术风格、抽象物体），显著提升生成多样性。
2025-08-11 16:18:04
399
原创 CLIP,BLIP,SigLIP技术详解【二】
本文深度解析了CLIP、SigLIP和BLIP三大视觉-语言预训练模型。CLIP采用双塔架构和对比学习，在零样本分类和跨模态检索表现优异；SigLIP改进为Sigmoid损失函数，支持动态分辨率，更适合移动端部署；BLIP通过多任务统一架构和CapFilt模块，在视觉问答和图像描述任务领先。技术选型需考虑任务类型（理解/生成）、数据规模与硬件条件，未来突破方向包括长上下文支持、3D/视频建模和训练效率优化。
2025-08-11 15:48:12
1153
原创 CLIP,BLIP,SigLIP技术详解
CLIP奠定了多模态对齐的基础，SigLIP在效率与稳定性上实现突破，BLIP系列推动生成式任务发展。技术选型需权衡任务需求（理解/生成）、数据规模及计算资源，动态分辨率、细粒度对齐将成为下一代模型演进重点。将图文匹配视为二元分类任务，用Sigmoid损失替代CLIP的Softmax损失，独立计算每对样本的匹配概率。统一理解与生成任务，设计多模态混合架构（MED），包含编码器-解码器分支，结合数据清洗模块CapFilt。：全局特征忽略局部细节，易受噪声干扰（如FG-CLIP论文指出的“视觉近视”问题）。
2025-08-11 15:43:09
963
原创 理解生成统一模型技术调研报告
技术多元化：从Janus的视觉编码解耦到Harmon的表征协调，技术路线呈现多元化发展趋势。领域专业化：HealthGPT等模型展示了领域专用统一模型的价值，针对特定场景优化理解与生成能力。模态扩展：从传统的图文模态扩展到视频（Emu3）、3D点云（GPT4Point）等更复杂模态。问题导向：各模型针对多模态理解与生成中的具体问题（如模态不一致性）提出创新解决方案。架构多元化：从Chameleon的统一token表示到BAGEL的MoT架构，模型设计思路更加多样化，针对不同应用场景优化。开源生态发展。
2025-08-06 15:15:22
531
原创 【多模态面试题】
本手册整合了Qwen-VL、DeepSeek等前沿技术方案，覆盖90%大厂面试考点。：关注ICLR’25多模态学习研讨会及OpenAI视频模型Sora技术演进。视觉编码器 ViT/ResNet。
2025-05-31 11:00:00
973
原创 【视觉大模型面试题】
以下为文生图（Text-to-Image）、文生视频（Text-to-Video）大模型领域的高频面试题及深度解析，涵盖技术原理、SOTA模型、前沿进展及演进路线。
2025-05-31 08:30:00
1321
原创 【大模型与多模态方向高频面试题及详解】
以下是根据最新行业面试动态整理的，结合模型原理、训练技巧和工程实践，涵盖CLIP、LoRA、BLIP系列、Qwen-VL等核心考点，并附代码实现与对比分析。
2025-05-30 09:00:00
1108
原创 【大模型岗位深度技术面试题及详解】
本文总结了分布式训练优化、参数微调和RLHF技术的面试要点。主要内容包括：1）DeepSpeed ZeRO三阶段的特点与适用场景，如ZeRO-3适用于72B大模型；2）显存估算方法，以Qwen2-72B为例分析参数、梯度和优化器状态对显存的影响；3）LoRA微调原理与优化方法，如PiSSA初始化；4）RLHF技术对比，分析PPO和DPO的算法差异及适用场景。文章还提供了显存计算示例、代码实现和面试常见问题解答，适合大模型岗位面试准备。
2025-05-30 08:00:00
874
原创 【视觉大模型面试题】
对比GAN，Diffusion模型在图像生成中的优势？DDPM与DiT的区别？：ViT如何将Transformer应用于视觉任务？：训练10B参数ViT需多少显存？ZeRO-3如何降低占用？：LoRA微调原理？视觉任务中如何初始化A/B矩阵？“Sora如何实现长视频生成？：Q-Former vs MLP适配器的优缺点？：视觉大模型生成错误物体如何解决？添加CLS Token+位置编码。：如何构建高质量的图文训练数据？：RAG在视觉问答中的落地难点？线性投影为Token。：维度变换/线性投影。
2025-05-29 22:18:13
1045
原创 【大模型技术面试】
最新大模型技术面试题，涵盖Transformer架构、语言模型演进、RLHF优化、对比学习及多模态模型等核心考点，并附代码实现。
2025-05-29 20:33:05
1123
原创 【Diffusion】DiffBIR: Towards Blind Image Restoration with Generative Diffusion Prior
paper:https://arxiv.org/pdf/2308.15070codes:https://github.com/xpixelgroup/diffbir
2024-07-09 15:18:47
696
原创 Paper Reading Refs
https://github.com/taowangzj/awesome-face-restorationhttps://github.com/24wenjie-li/Awesome-Face-Restorationhttps://github.com/sczhou/Awesome-Face-Restorationhttps://github.com/diff-usion/Awesome-Diffusion-Modelshttps://paperswithcode.com/task/blind-face-r
2024-07-09 15:18:26
198
原创 Leetcode编辑距离
leetcode给你两个单词 word1 和 word2，请你计算出将 word1 转换成 word2 所使用的最少操作数 。你可以对一个单词进行如下三种操作：插入一个字符删除一个字符替换一个字符解题动态规划：状态定义，状态转移，初始值dp[i][j]...
2020-05-15 17:42:09
256
原创 Leetcode到达终点数字
leetcode在一根无限长的数轴上，你站在0的位置。终点在target的位置。每次你可以选择向左或向右移动。第 n 次移动（从 1 开始），可以走 n 步。返回到达终点需要的最小移动次数。解题1.target 可能为正或负，但从0走到2：1-2+3 等价于从0走到-2：-1+2-32. 把target当成正数，每次向右走，如果sum==target，达到，如果sum>target，则说明中间一步需要向左走。3. 如果第k步从原来的正数变为负数，即sum-k-k4. 如果sum-ta
2020-05-15 15:20:27
599
原创 Leetcode字符串编辑
leetcode字符串有三种编辑操作:插入一个字符、删除一个字符或者替换一个字符。 给定两个字符串，编写一个函数判定它们是否只需要一次(或者零次)编辑。三种情况讨论：替换：字符串长度不变，考虑内部不相等的个数是否超过两个删除/插入：只变化一个字符，跳过该字符，比较剩下是否相等两个字符串长度差超过2，不符合双指针，分别从长字符的首端开始扫描至不相等处，另一个从尾端扫描，比较两个指针位置差值class Solution: def oneEditAway(self, first:
2020-05-14 10:59:47
768
原创 Leetcode 只出现一次的数字
添加链接描述数学class Solution: def singleNumber(self, nums: List[int]) -> int: return sum(set(nums))*2-sum(nums)逻辑运算符交换律：a ^ b ^ c = a ^ c ^ b任何数于0异或为任何数 0 ^ n = n相同的数异或为0: n ^ n = 0class Solution: def singleNumber(self, nums: List[
2020-05-14 10:46:36
195
原创 Leetcode 数据流的中位数
leetcode问题中位数是有序列表中间的数。如果列表长度是偶数，中位数则是中间两个数的平均值。例如，[2,3,4] 的中位数是 3[2,3] 的中位数是 (2 + 3) / 2 = 2.5思路由于数组是动态的，不断会有新的数据加入，如果每次都进行重新排序会很麻烦，考虑能维持有序的结构，平衡的二叉搜索树：左节点的值<根节点<右节点， 根节点为中位数平衡二叉搜索树的实现较...
2020-03-17 09:44:05
616
原创 Leetcode 最长不含重复字符的子字符串
leetcode问题请从字符串中找出一个最长的不包含重复字符的子字符串，计算该最长子字符串的长度。思路如果用集合set()，求出的为所有不重复的元素，但这里指的是子字符串，显然不符合题意。考虑用一个滑动窗口，如果新添加的字符串的值在窗口内有相同的值，则移动窗口左侧，当前窗口长度减小，直至这个元素不在窗口内出现，将这个元素加入窗口，记录最大窗口值class Solution: d...
2020-03-14 18:58:09
272
原创 Leetcode 矩阵中的路径
leetcode问题请设计一个函数，用来判断在一个矩阵中是否存在一条包含某字符串所有字符的路径。路径可以从矩阵中的任意一格开始，每一步可以在矩阵中向左、右、上、下移动一格。如果一条路径经过了矩阵的某一格，那么该路径不能再次进入该格子。输入：board = [[“A”,“B”,“C”,“E”],[“S”,“F”,“C”,“S”],[“A”,“D”,“E”,“E”]], word = “ABC...
2020-03-14 18:40:18
578
原创 Leetcode 机器人的运动范围
leetcode问题地上有一个m行n列的方格，从坐标 [0,0] 到坐标 [m-1,n-1] 。一个机器人从坐标 [0, 0] 的格子开始移动，它每次可以向左、右、上、下移动一格（不能移动到方格外），也不能进入行坐标和列坐标的数位之和大于k的格子。例如，当k为18时，机器人能够进入方格 [35, 37] ，因为3+5+3+7=18。但它不能进入方格 [35, 38]，因为3+5+3+8=19。...
2020-03-14 17:47:28
376
原创 Leetcode 二叉搜索树的后序遍历序列
leetcode问题输入一个整数数组，判断该数组是不是某二叉搜索树的后序遍历结果。如果是则返回 true，否则返回 false。假设输入的数组的任意两个数字都互不相同。思路二叉搜索树： 左子树的值 < 根节点的值 < 右子树的值后序遍历为： 左子树 ， 右子树， 根节点那么给出数组的最后一位为root所有值小于根节点的都为左子树，其余为右子树用递归算法，可以...
2020-03-14 16:53:14
291
原创 Leetcode 队列的最大值
leetcode问题请定义一个队列并实现函数 max_value 得到队列里的最大值，要求函数max_value、push_back 和 pop_front 的均摊时间复杂度都是O(1)。若队列为空，pop_front 和 max_value 需要返回 -1思路要实现O(1)的时间复杂度，那么不能每次都对队列里的值排序求最大值，需要额外记录最大值，并且在每次执行完进队出队操作后进行更新，...
2020-03-14 11:05:19
188
原创 Leetcode 把数字翻译成字符串
leetcode问题给定一个数字，我们按照如下规则把它翻译为字符串：0 翻译成 “a” ，1 翻译成 “b”，……，11 翻译成 “l”，……，25 翻译成 “z”。一个数字可能有多个翻译。请编程实现一个函数，用来计算一个数字有多少种不同的翻译方法。示例 1:输入: 12258输出: 5解释: 12258有5种不同的翻译，分别是"bccfi", “bwfi”, “bczi”, “mcf...
2020-03-14 10:32:45
428
原创 Leetcode 圆圈中最后剩下的数字
leetcode0,1,n-1这n个数字排成一个圆圈，从数字0开始，每次从这个圆圈里删除第m个数字。求出这个圆圈里剩下的最后一个数字。例如，0、1、2、3、4这5个数字组成一个圆圈，从数字0开始每次删除第3个数字，则删除的前4个数字依次是2、0、4、1，因此最后剩下的数字是3。思路根据题目描述的规则，数字是组成一个圆圈，每次删掉第M个数后再次从0计算，可以考虑链表，每次到第M个位置，删掉该...
2020-03-01 18:01:20
340
原创 Leetcode n个骰子的点数---动态规划
leetcode把n个骰子扔在地上，所有骰子朝上一面的点数之和为s。输入n，打印出s的所有可能的值出现的概率。你需要用一个浮点数数组返回答案，其中第 i 个元素代表这 n 个骰子所能掷出的点数集合中第 i 小的那个的概率。思路n个骰子，一共有6**n种情况n=1, 和为s的情况有 F(n,s)=1 s=1,2,3,4,5,6n>1 , F(n,s) = F(n-1,s-1)+F...
2020-03-01 15:08:37
2042
原创 Leetcode 数组中数字出现的次数 II 多种解法
leetcode在一个数组 nums 中除一个数字只出现一次之外，其他数字都出现了三次。请找出那个只出现一次的数字。思路方法一： 排序后比较元素的左右值是否等于元素class Solution: def singleNumber(self, nums: List[int]) -> int: nums.sort() if nums[0]!=num...
2020-02-28 17:52:28
841
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人