北大、快手、北邮联合开源：Pyramidal Flow 视频生成模型

于 2024-10-11 09:57:28 发布
阅读量131 收藏
点赞数 6
分类专栏： 三花AI 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_51674085/article/details/142846016
版权


 是由北大、快手和北邮联合开源的新视频生成模型，支持文生视频和图生视频，最高可生成 24fps、1280x768 分辨率、长达 10 秒的视频。你可以直接在 ComfyUI 中安装 PyramidFlowWrapper 插件来使用它，需要 10-12GB 的 VRAM。

该模型在官方的 VBench 基准测试中，81.72 的总得分使其与众多商业模型并驾齐驱，虽然得分略低于今天的 T2V-Turbo-v2，但主观上我认为这个模型的生成效果更佳。

三花AI
关注
专栏目录
CNN光流模型 PWCNet: CNNs for Optical Flow Using Pyramid 光流（Optical flow）
AI天才研究院
08-13 262
光流（Optical flow）是指空间中的物体在运动过程中占据的时间，是一种可以量化、可视化及控制的物理现象。从传统计算机视觉出发，通过特征点检测、描述子匹配、跟踪等流程，利用边缘检测或梯度方向计算的方法获得光流场。然而，这种方法并不能够很好的解决光流场存在的尺度变换、光照变化、遮挡和混叠等复杂性，也无法充分考虑到物体的几何形状变化。因此，基于深度学习的光流估计技术受到了越来越多的关注。近年来，由于卷积神经网络(CNN)的突破，基于CNN的光流估计技术逐渐取得了突破性的进步。
深度学习论文: Pyramidal Convolution: Rethinking CNN for Visual Recognition及其PyTorch实现
mingo_敏
07-01 2333
深度学习论文: Pyramidal Convolution: Rethinking Convolutional Neural Networks for Visual Recognition及其PyTorch实现 Pyramidal Convolution: Rethinking Convolutional Neural Networks for Visual Recognition PDF:https://arxiv.org/pdf/2006.11538.pdf PyTorch: https://githu
ER论文阅读-PGCN: Pyramidal Graph Convolutional Network for EEG Emotion Recognition PGCN
m0_49940316的博客
09-23 725
在过去十年中，基于脑电图（EEG）的情感识别因其卓越的准确性和可靠性而被广泛研究，图卷积网络（GCN）已成为从EEG信号中解码情感的主流模型。特征提取有助于揭示EEG信号中的情感相关信息，从而实现更准确的情感识别。与之前大多只使用二维电极关系进行GCN构建的工作相比，PGCN将节点之间的绝对位置、相对位置和数值关系融合到网络中，同时借鉴情感相关的神经科学先验研究，构建大脑区域的虚拟中观中心。基于情感相关神经科学的先验知识，我们设计了不同的中观区域并计算它们的虚拟中心，以区分不同脑区在情感识别任务中的作用。
论文阅读：Pyramidal Feature Shrinking for Salient Object Detection
xiongxyowo的博客
07-02 1072
论文地址：https://ojs.aaai.org/index.php/AAAI/article/view/16331 发表于：AAAI 2021 I. Intro 这个网络是用来进行显著目标检测的， II. Network Architecture 一点一点来看： Xs : SOD数据集中的图像 Xc : COD数据集中的图像 EαsE_{\alpha_{s}}Eαs​​ : 用于SOD的Encoder，backbone为ResNet50 EαcE_{\alpha_{c}}Eαc​​ : 用于C
2018 CVPR：Pyramidal Person Re-IDentification via Multi-Loss Dynamic Training
makabaka的博客
05-12 797
Pyramidal Person Re-IDentification via Multi-Loss Dynamic Training 当前的问题及概述： 大多数现有的方法高度依赖bounding box,然而，由于实际场景的限制，目前的检测模型往往产生不准确的bounding box，进而避免了算法的性能。 本文提出了一种新的由粗到细的金字塔模型，该模型不仅融合了局部信息和全局信息，而且还强化了局部信息和全局信息之间的线索，避免了bounding box的不准确性带来的影响。可以从下图看到，由于boundi
pyraformer: low-complexity pyramidal attention for long-range time series modeling and forecasting
小蚂蚁与大象
06-01 1345
pyraformer: low-complexity pyramidal attention for long-range time series modeling and forecasting 以时间序列数据为基础，对过去的未来进行准确的预测是至关重要的，因为这为提前进行决策和风险管理打开了大门。在实践中，挑战是构建一个灵活但简洁的模型，可以捕获广泛的时间依赖性。在这篇论文中，我们通过探索时间序列的多分辨率表示来提出Pyraformer。具体地，我们引入了金字塔注意模块(PAM)，其中尺度间树结构总结
北京大学计算机学院唐轩,吕骏-计算机与控制工程学院
weixin_39587164的博客
07-19 154
期刊论文：2021年：1. Li G, Lv J*, Wang C. A Modified Generative Adversarial Network using Spatial and Channel-wise Attention for CS-MRI Reconstruction[J]. IEEE Access, 2021.2. Lv J, Li G, Tong X, et al. Tran...
PWC-Net：CNNs for Optical Flow Using Pyramid,Warping,and Cost Volume
qq_35608277的博客
08-26 702
https://github.com/sniklaus/pytorch-pwc 使用CNN网络实现光流估计的方法，在该方法中采用了经典的特征金字塔结构作为特征提取网络。之后在金字塔的某个层级上使用上一级的光流作为warp引导，第二幅图像的特征将被warp。进而使用第二幅图像warp之后的特征和第一幅图像的特征构建一个cost volume。在此基础之上，添加一个估计网络从而实现当前金字塔层的光流估计。文章的方法简单明了，在模型的体积上和infer时间上分别比FlowNet2小了17倍和2倍，并且相比Flow
[2022 ICLR] Pyraformer: Low-Complexity Pyramidal Attention for Long-Range 时空序列建模和预测
小卜妞的博客
04-21 4208
Pyraformer: Low-Complexity Pyramidal Attention for Long-Range T-S Modeling and Forecasting 低复杂度的金字塔型注意力模型，用于长时序列建模和预测 我们研究的时空数据类任务（预测或异常检测等），需要考虑时间和空间两个维度。目前的研究成果在空间维度基本是以图卷积为主导，不同之处在于不同工作中定义的图类型有所不同，一般是静态图（即地理位置形成的天然拓扑图），还有结合时间或POI等额外信息计算得到的节点拓扑关系，一般称为动态
Lucas & Kanade Pyramidal Refined Optical Flow 实现：该文件实现了著名的 LK 算法，具有正则化和亚像素计算。-matlab开发
06-01
在给定的压缩包文件"Lucas & Kanade Pyramidal Refined Optical Flow 实现：该文件实现了著名的 LK 算法，具有正则化和亚像素计算。-matlab开发"中，我们可以推测包含的是一个使用MATLAB实现的LK算法优化版本。...
毒蘑菇检测数据集 9200张 14类毒蘑菇 带标注 voc yolo
阿利同学的博客
10-07 1170
毒蘑菇检测数据集 9200张 14类毒蘑菇 带标注 voc yolo
基于Keras的U-Net模型在图像分割与计数中的应用
深度学习实战训练营，一起交流探索深度学习
10-04 1565
网络结构优化：项目基于经典的U-Net模型进行改进，采用了更深的网络层次结构，使模型能够在多尺度上捕捉到图像中的细节信息。特别是针对医学图像分割，项目通过增加卷积层数和引入Dropout层来增强模型的特征提取能力，并有效防止过拟合，从而提高模型在训练数据较少情况下的表现。项目中采用了he_normal初始化器和relu激活函数组合，使得网络在训练时能够更快地收敛，降低梯度消失的风险。自定义数据增强策略：在中实现了一个自定义的图像增强类。
大模型1-本地部署实现交互问答
qq_42755230的博客
10-08 766
在本地部署大模型，并构建问答对话，实现大模型交互问答部署，本文以yuan和qwen为例。
线性判别器LDA
最新发布
qq_52421831的博客
10-10 474
LDA是一种有监督的降维方法，和它比较类似的是PCA(一种无监督的降维方法)
北大对齐团队深度硬核解读：OpenAI o1开启「后训练」时代强化学习新范式
ys707663989的博客
10-06 2064
本文深入探讨了OpenAI o1的技术细节、的实现、合成数据与推理搜索的优化，以及AI安全的新启示，展示了大语言模型在推理能力提升和安全对齐方面的最新进展与未来方向。
【进阶OpenCV】 （6）--指纹识别
m0_74896766的博客
10-06 1416
本篇介绍了，如何将源图像指纹同指纹库中的指纹进行匹配，并得到的对应指纹的信息。
树莓派外挂Camera4（pipeline）
fanged的专栏
10-03 681
现在说起Pipeline都有点迷糊了，很多都是这个概念。GStreamer里面有，相机里面有，然后还有别的地方也有。pipeline本身其实没什么特殊的，简单理解就是一段处理。晚上查了一下，确实这几个地方都叫pipeline，然后树莓派还有个自己的Post-processing，也就是后处理。今天主要说camera的和Post-processing的。
pytorch版本和cuda版本不匹配问题
分享计算机视觉，C++，网络摄像头研发，音视频开发，嵌入式等知识。
10-06 440
发现cuda11.8支持pytorch2.0.0。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值