PyramidFlow: High-Resolution Defect Contrastive Localization using Pyramid Normalizing Flow

已于 2023-07-04 11:46:15 修改
阅读量353 收藏 1
点赞数 2
文章标签： 人工智能 计算机视觉 算法
于 2023-06-30 14:59:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaochuideai/article/details/131322851
版权

PyramidFlow论文解析

归一化流详细解释

参考论文： Glow: Generative Flow with Invertible 1×1 Convolutions
在这里插入图片描述
在这里插入图片描述

网络模型结构图

  • 归一化流的基本概念：通过仿射变换将一个先验分布转化为一个后验分布，其中后验分布的概率密度函数满足归一化条件。
  • 模型结构图
    在这里插入图片描述

论文具体的内容部分可以参考原文。

深度学习论文: PyramidFlow: High-Resolution Defect Contrastive Localization using Pyramid Normalizing Flow
mingo_敏
10-08 477
最近的研究表明，在预训练特征的基础上，进一步使用归一化流来重塑特征空间的概率分布，可以使正常原型紧致化。然而，直接将现有的归一化流技术应用于高分辨率图像是不可行的，因为高分辨率图像具有很大的块方差(patch-variance)。为了解决这个问题，现有的方法结合了预训练特征，将块特征投射到低方差的高维空间中。相比低维空间，高维空间能更有效地利用归一化流来重塑概率分布。
AI视频王者归来-[ComfyUI]PyramidFlow：快手开源视频模型，与Mochi比拼谁更强？8G可运行10秒768P与24帧视频生成
2401_85725028的博客
10-31 952
Mochi 1[ComfyUI]Mochi：可商用！迄今最大开源视频生成模型，100亿参数&高保真动作&高提示遵循)，有同学反馈希望介绍下快手最新开源的视频模型，故此有了今天文章。首先视频模型是由 北京大学、北京邮电大学和快手科技共同研发的开源视频模型。是一个基于流匹配的高效自回归视频生成方法，采用了金字塔流匹配算法，优化了视频生成的效率和质量。这一算法将视频生成过程分解为多个阶段，每个阶段对应着不同的分辨率。仅通过训练开源数据集，就能生成高质量的 10 秒 768p 分辨率和24 帧每秒的视频。
PyramidFlow
whaosoft143ai的博客
03-13 330
浙江大学光电学院提出全归一化流模型——PyramidFlow，它将潜在模板对比的思想融入最先进的归一化流技术，提出金字塔耦合块(Pyramid Block)和体积归一化策略(Volume Normalization)，首次实现了高分辨的缺陷异常定位。浙大提出首个全归一化流模型PyramidFlow，专为高分辨率缺陷异常定位设计。提出了首个不依赖于预训练模型的全归一化流方法，专为高分辨率的缺陷异常定位设计。whaosoft aiot http://143ai.com
CVPR 23 | 高分辨率缺陷异常定位新范式：PyramidFlow
学姐带你玩AI的博客
06-25 1561
算法由训练和评估两个过程组成，如图 2 所示。训练过程类似于孪生网络，通过最小化图像对内的频率差异来优化模型。对于评估过程，通过在总训练数据集上进行推理获得潜在模板，然后应用潜在对比和金字塔合成来获得异常定位图。详细信息展示在以下部分中。图 2. PyramidFlow 的训练和评估示意图。(a) 给定任何正常图片对，尝试最小化其间潜在变量的距离。(b) 潜在变量的均值与示例进行对比，然后应用金字塔组合来获得异常定位图。
CVPR 2023 | 浙大提出全归一化流模型PyramidFlow：高分辨率缺陷异常定位新范式
Paper weekly
03-13 2004
©作者 |博学的咖喱酱不鸣则已，一鸣惊人！浙江大学光电学院提出全归一化流模型——PyramidFlow，它将潜在模板对比的思想融入最先进的归一化流技术，提出金字塔耦合块 (Pyramid Block) 和体积归一化策略 (Volume Normalization)，首次实现了高分辨的缺陷异常定位。一句话：提出了首个不依赖于预训练模型的全归一化流方法，专为高分辨率的缺陷异常定位设计。论文标题：Py...
金字塔流（Pyramid Flow）： 用于生成人工智能长视频的新文本-视频开源模型
weixin_41446370的博客
10-12 1901
在 "生成式人工智能 "中的文本生成模型和图像生成模型大行其道之后，现在该是文本-视频模型大显身手的时候了，这个列表中的新模型就是 pyramid-flow-sd3，它是一个开源模型，用于从文本或图像生成长达 10 秒的视频，而且是 24fps 的视频！
Pyramid-Flow – 北大、快手、北邮联合开源的视频生成模型
u010291330的博客
10-11 2054
Pyramid-Flow是一种先进的视频生成模型，由北京大学、快手科技和北京邮电大学的研究人员联合推出。模型根据文本提示生成长达10秒、分辨率高达1280×768、帧率24帧每秒的高清视频。Pyramid-Flow的核心为创新的金字塔流匹配算法，算法将视频生成过程分解为多个不同分辨率的金字塔阶段，在最终阶段全分辨率进行处理，有效降低计算复杂度。模型基于时间金字塔设计，压缩全分辨率的历史信息提高训练效率。Pyramid-Flow支持端到端优化，用单一的统一扩散变换器（DiT）进行训练，简化模型的实现。
Pyramidal Flow使用指南：快手、北大、北邮，开源可免费商用视频生成模型，快速上手教程
qq_26303031的博客
10-22 2202
本指南详细介绍了 Pyramidal Flow 的安装、配置、使用方法，以及如何利用这一模型将文本描述转化为高质量视频。Pyramidal Flow 由快手科技、北京大学和北京邮电大学联合推出，支持商业使用，具备文本到视频生成、高分辨率输出、自回归视频生成等功能。
ComfyUI-PyramidFlowWrapper：为视频生成带来全新体验
gitblog_01156的博客
03-28 960
ComfyUI-PyramidFlowWrapper：为视频生成带来全新体验 ComfyUI-PyramidFlowWrapper 项目地址: https://gitcode.com/gh_mirrors/co/ComfyUI-...
CV中opticalFlow（与MV的区别）/stitcher/pyramid(高斯金字塔 拉普拉斯金字塔 双线性金字塔)
cy413026的博客
05-14 946
以下都是知乎和csdn上讲解比较详细的文章 1.opticalFlow 光流估计——从传统方法到深度学习 2.stitcher(图像拼接) 计算机视觉方向简介 | 图像拼接 3.pyrimid （二十六）图像金字塔----高斯和拉普拉斯 OpenCV图像金字塔：高斯金字塔、拉普拉斯金字塔总结 ...
【CVPR 2023】高分辨率异常检测PyramidFlow-训练并推理-附bug调试
传统图像处理，深度学习，目标检测（分类，检测，分割），多目标追踪，部署等
08-22 1868
首先，我们需要把我在一中提到的代码先git clone到我们的项目路径中，这是我们接下去的训练代码，当然其中也包括了验证和测试（推理过程也包含在内部了，需要自己写一小部分）。drop_last: dataset中的数据个数可能不是batch_size的整数倍，drop_last为True会将多出来不足一个batch的数据丢弃。PyramidFlow的环境，作者已经在Readme中给出，按照里面的版本pip install即可，如果下载速度过慢，可以。进入训练代码的链接后，点击作者头像，如图所示。
Pyramid Grafting Network for One-Stage High ResolutionSaliency Detection高分辨率显著图检测算法
donkey_1993的博客
04-27 741
论文核心： 论文提出了一个单阶段的高分辨率显著图检测算法。该网络结构编码层采用Transformer和cnn融合特征得到全局和局部特征信息，最后通过三段的解码层输出预测结果。论文提出了CMGM的网络结构块和AGL损失函数来融合矫正CNN和Transformer特征信息。同时提出了一个UHRSD的高分辨率数据集。 论文整体网络结构： 通过上图可以看出，该网络结构本质上是一个编码-解码的网络结构，只是在编码层使用了CNN和Transformer作为并行的编...
缺陷检测文献
轻舟已过万重山
09-02 8417
缺陷检测文献阅读
Pyramid-Flow本地部署教程：极速生成10秒高质量视频！
SJJS_1的博客
01-15 1219
这是 Pyramid Flow 的官方仓库，Pyramid Flow 是一种基于 Flow Matching 的高效训练自回归视频生成方法。通过仅在开源数据集上进行训练，它可以生成 768p 分辨率和 24 FPS 的高质量 10 秒视频，并且自然支持图像到视频的生成。
基于流模型 Flow-based model 的图像缺陷检测算法
RicardoHuang的博客
01-15 2128
本文介绍基于流模型的图像缺陷检测算法。其将 Normalizing Flow 与缺陷检测相结合，相关的几篇工作在近两年的缺陷检测工作中都取得了不错的成绩。
Pyramid-Flow推理环境搭建
Merlin's Engineering Blog
10-12 941
Pyramid-Flow是一种基于流匹配的训练高效自回归视频生成方法。该方法仅在开源数据集上进行训练，能够生成高质量的10秒钟768p分辨率、24帧每秒的视频，并自然支持从图像到视频的生成
旷视研究院荣获 CVPR 2022 NTIRE RAW 图像多帧超分-真实世界数据赛道比赛第一！
旷视开发者技术社区
06-23 2924
近日，New Trends in Image Restoration and Enhancement (以下简称：NTIRE) 比赛结果揭晓，旷视研究院在11支参赛队伍中脱颖而出，荣获了 NTIRE 2022 Burst Super-Resolution Challenge-真实世界数据赛道比赛第一！1赛题介绍在真实世界中，手机输出的高分辨率图像通常是由瞬间拍摄的多帧图...
OpenCV pyramid lk(Lucas Kanade)光流算法自己的一些注释
tianqishi的专栏
07-15 1361
参考如下： 代码注释的一个参考文章 https://blog.csdn.net/findgeneralgirl/article/details/107919541 原理参考文章 https://blog.csdn.net/qq_41368247/article/details/82562165 https://blog.csdn.net/sgfmby1994/article/details/68489944 这两篇文章都是先写了光流的基本原理公式，再写LK光流的一些公式，最后写Pyramid
Pyramid Lucas-Kanade optical flow code
caonima20082009的专栏
08-15 1083
#include #include #include #include const int MAX_CORNERS = 500; int main(int argc, char** argv) {    // Initialize, load two images from the file system, and    // allocate the images
CS-FLOW Fully Convolutional Cross-Scale-Flows for Image-based Defect Detection
最新发布
04-01
### Fully Convolutional Cross-Scale Flows (CS-Flow): 方法概述 Fully Convolutional Cross-Scale Flows (CS-Flow) 是一种用于图像缺陷检测的方法，其核心在于通过联合处理多尺度特征图并利用归一化流模型来估计输入样本的概率密度。这种方法不仅能够在图像层面实现高效的缺陷检测，还能够通过保留空间排列的方式解释潜在空间，从而精确定位图像中的缺陷区域。 #### CS-Flow 的基本原理 CS-Flow 基于归一化流（Normalizing Flow）的概念构建了一个全卷积网络框架。该方法的核心目标是对无监督或半监督条件下的正常图像分布进行建模，并基于此识别异常模式。具体而言，CS-Flow 使用了跨尺度的特征融合机制，使得模型可以同时捕捉全局和局部的信息[^2]。 #### 多尺度特征处理 为了更好地适应不同类型的缺陷表现形式，CS-Flow 设计了一种跨尺度架构，其中多个特征图被共同优化以反映不同的抽象层次。这种设计有助于增强模型对复杂背景变化以及细粒度细节的理解能力。通过对这些多层次特征的学习，CS-Flow 能够更精确地区分正常与异常情况下的视觉差异。 #### 归一化流的作用 在 CS-Flow 中引入了归一化流技术作为概率密度估计工具。这一部分负责将复杂的高维数据映射到简单的先验分布上，进而计算每张测试图片相对于训练集中“正常”样例集合所表现出的可能性得分。较低可能性分数通常指示存在某种形式上的偏离——即可能对应着某个特定位置处出现了表面瑕疵等问题现象。 #### 缺陷定位功能 除了提供整体级别的判断之外，由于保持住了原始像素之间的相对关系不变，在经过变换后的隐含向量里仍然保存有足够丰富的地理位置线索可供进一步挖掘分析之用；因此当发现某片区域具有显著不同于其他地方特性的数值特性时候，则可以直接回溯找到相应实际坐标范围内的疑似问题部位所在之处。 ```python import torch from csflow import CSFlowModel # Hypothetical module representing the CS-Flow model. def detect_defects(image_tensor, threshold=0.5): """ Detect defects in an input image tensor using CS-Flow. Args: image_tensor (torch.Tensor): Input image as a PyTorch Tensor of shape [C,H,W]. threshold (float): Probability threshold to classify regions as defective or not. Returns: Tuple[bool, List[Tuple[int]]]: Whether there is any defect present along with coordinates list. """ device = 'cuda' if torch.cuda.is_available() else 'cpu' model = CSFlowModel(pretrained=True).to(device) with torch.no_grad(): prob_map = model(image_tensor.unsqueeze(0)).squeeze().cpu().numpy() mask = prob_map < threshold coords = [(i,j) for i,row in enumerate(mask) for j,val in zip(range(len(row)), row) if val] has_defect = bool(coords) return has_defect, coords ``` 上述代码片段展示如何加载预训练好的 CS-Flow 模型并对单幅灰阶图像执行预测操作过程。最终输出包括是否存在缺陷标志以及所有可疑点坐标的列表形式结果集。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值