STTN、DSTT、FuseFormer总结（它们改进了什么？）

已于 2022-05-20 08:21:57 修改
阅读量7.7k 收藏 5
点赞数 1
分类专栏： Video Inpainting 文章标签： python 深度学习
于 2022-01-24 11:19:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43135178/article/details/122663837
版权

STTN

Learning Joint Spatial-Temporal Transformations for Video Inpainting：

GitHub - researchmm/STTN: [ECCV'2020] STTN: Learning Joint Spatial-Temporal Transformations for Video Inpainting 

我认为STTN是属于使用transformer构建video inpainting的开山之作，只是使用transformer构建了时空transformer从而实现视频修复

 

DSTT

Decoupled Spatial-Temporal Transformer for Video Inpainting：GitHub - ruiliu-ai/DSTT

关于DSTT我认为总体的架构上并没有什么改变， 其中的改变或者叫做创新是将transformer encoder的部分做了一下变化，通过cat 不同的feature map替代单层的feature map，然后就是使用了分组卷积

 

FuseFormer

FuseFormer: Fusing Fine-Grained Information in Transformers for Video Inpainting：https://github.com/ruiliu-ai/FuseFormer

 FuseFormer是在transformer block的前向传播过程中做了改进，原来我们将图像且分为patch的方式是将一个图像均匀的分为多少个patch，patch和patch之间并没有重叠，而FuseFormer将patch之间做到了融合，即patch之间有重叠的部分（通过fold和unfold方式实现），原文中说的是：overlapped区域聚合了很多tokens的信息，这对于平滑的边界以及增加感受野很有用

Pengsen Ma
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
STTN:[ECCV'2020] STTN
03-20
STTN视频修复|| | |学习视频时空联合时空转换，，。在ECCV 2020中。引文如果我们的论文和资料库的任何部分对您的工作有所帮助，请慷慨地引用： @inproceedings{yan2020sttn, author = {Zeng, Yanhong and Fu, ...
sttn:时空网络分析框架
03-17
t 在此处添加简短说明！ 描述 您的项目的详细说明在这里... 笔记 该项目是使用PyScaffold 3.2.3设置的。 有关PyScaffold的详细信息和使用信息，请参见 。
学习笔记2 | 视频修复模型（读懂code\ECformer\model当中的.py文件）
qq_46703208的博客
04-17 398
包括ba_ours.pydstt.pysttn.pye2fgvi.py。
探索未来科技：STTN —— 实时时空变换网络
gitblog_00051的博客
04-19 417
探索未来科技：STTN —— 实时时空变换网络 项目地址:https://gitcode.com/researchmm/STTN 在深度学习领域，STTN（Spatial-Temporal Transformation Network）是一个引人注目的项目，它专注于实时视频的时空变换。这个开源项目由研究团队研发，旨在为视频处理提供一种高效、灵活的新方法。 项目简介 STTN 是一个基于深度学习的...
STTN论文总结
Jeff zhao
08-02 680
STTN
qq_38022658的博客
03-23 362
github地址 https://github.com/researchmm/STTN arvix地址 ：https://arxiv.org/abs/2007.10247 csdn文章地址 ：https://blog.csdn.net/zuiyishihefang/article/details/105985831
深度学习系列资料总结
热门推荐
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
07-17 2万+
说明本系列深度学习资料集合包含机器学习、深度学习等各系列教程，主要以计算机视觉资料为主，包括图像识别、分类、检测、分割等，内容参考Github及网络资源，仅供个人学习。深度学习定义一般是指通过训练多层网络结构对未知数据进行分类或回归深度学习分类有监督学习方法——深度前馈网络、卷积神经网络、循环神经网络等；无监督学习方法——深度信念网、深度玻尔兹曼机，深度自编码器等。手写机器学习笔记github机器学习算法公式推导以及numpy实现github人工智能相关术语link。..................
STTN（CVPR2020）
qq_45605590的博客
09-25 940
STTN: Learning joint spatial-temporal transformation for video inpainting. 主要剖析作者的motivation，总结缺陷和问题。
STTN-SpatialTemporalTransformer模型代码
qq_43118572的博客
08-14 1012
1. Github代码 # -*- coding: utf-8 -*- """ Created on Mon Sep 28 10:28:06 2020 @author: wb """ import torch import torch.nn as nn from GCN_models import GCN from One_hot_encoder import One_hot_encoder class SSelfAttention(nn.Module): def __init__(self,
（STTN）Learning Joint Spatial-TemporalTransformations for Video Inpainting
简单记录生活、学习
01-08 5616
In summary, our main contribution is to learn joint spatial and temporal transformations for video inpainting, by a deep generative model with adversarial training along spatial-temp
图片视频抹除算法总结Inpaint
taoqick的专栏
07-10 1434
基本是从图片抹水印和视频抹水印两个方向请根据目录查看。
基于AI的图片/视频硬字幕去除、无损分辨率生成去字幕、去水印后的图片/视频文件，本地就可实现的Python源码+文档说明
01-12
基于AI的图片/视频硬字幕去除、无损分辨率生成去字幕、去水印后的图片/视频文件，本地就可实现的Python源码+文档说明 - 不懂运行，下载完可以私聊问，可远程教学 该资源内项目源码是个人的毕设，代码都测试ok，都是...
如何mysql数据导入到mongdb
codemami的博客
05-30 591
由于MySQL和MongoDB的数据模型不同（例如，MySQL使用关系模型，而MongoDB使用文档模型），你可能需要转换数据的格式。使用MongoDB驱动程序：你也可以使用MongoDB的官方驱动程序（如Python的pymongo）来编写脚本，将数据直接插入到MongoDB中。注意：如果你的JSON文件包含多个文档，并且它们不是作为数组的一部分（即每个文档都在其自己的行上），则需要使用--jsonArray选项。手动转换：对于小型数据集，你可以手动编辑SQL或CSV文件，将其转换为JSON格式。
学 Python 具体能干什么？
猿小白的博客
05-26 1148
Python 是一种功能强大、用途广泛的编程语言，因其简洁易读的语法和丰富的库生态系统而备受欢迎。
在linux服务器上使用tensorboard，错误记录
wwwwzm的博客
05-30 285
1. 使用tensorboard命令时，不是从虚拟环境中找tensorboard，而是从（全局路径）中找（/home/ljx/.local/lib/python3.9/site-packages/tensorboard）是一个在 Unix-like 系统（包括 Linux 和 macOS）的命令行界面（如 Bash shell）中使用的命令。2.使用which命令， 查看使用的tensorboard的路径，发现使用的是全局路径，不是虚拟环境路径。是一个特殊的变量，它定义了操作系统搜索可执行文件的目录。
基于NANO 9K 开发板加载PICORV32软核，并建立交叉编译环境
最新发布
pocean2012的博客
05-30 551
ISP的实现逻辑是出厂“芯片”（我们这里是软核）自带了BootLoader程序，即出厂引导程序，通过BootLoader可以将程序从串口（上位机）下载到Flash中，实际的时序是通过RST来区分正常启动还是烧录状态，然后上位机的烧录脚本来控制串口时序， 用户程序实际上是通过串口最终下载到了FLASH中，然后程序从flash启动。NANO 9K低成本体验FPGA开发，还是挺香的，官方例子有加载PICORV32软核的例子，可以建立简单的ISP编程环境，通过串口就可以加载程序，很方便。
Pandas03
Bianca427的博客
05-27 1037
聚合计算时新增一列计算最大值与平均值的差值df.groupby('district').agg(最低工资=('salary', 'min'), 最高工资=('salary', 'max'), 平均工资=('salary', 'mean'), 最大值与均值差值=('salary', myfunc)).rename_axis(["行政区"])
深入理解Python中None和““的区别
m0_54701273的博客
05-27 639
在Python的世界里，None和空字符串""经常被用作默认值或用于表示缺省值的情况。尽管它们在某些语境下似乎可互换，但实际上None和""在Python中有着根本的区别。
TransformER
02-28
TransformER是一个基于Transformer模型的实体关系抽取器。它是由CSDN开发的C知道团队开发的，旨在从文本中自动提取实体和它们之间的关系。 Transformer是一种基于自注意力机制的神经网络模型，它在自然语言处理任务中取得了很大的成功。TransformER利用Transformer模型的强大表达能力，能够对输入文本进行编码，并学习到实体之间的关系。 TransformER的工作流程如下： 1. 输入文本预处理：将输入文本进行分词、词性标注等预处理操作。 2. 实体识别：使用命名实体识别技术，识别出文本中的实体，如人名、地名、组织机构等。 3. 关系抽取：通过Transformer模型对输入文本进行编码，学习到实体之间的关系。 4. 输出结果：将抽取到的实体和关系进行整理和展示。 TransformER在许多实际应用中具有广泛的应用，如信息抽取、问答系统、知识图谱构建等。它能够帮助用户从大量文本中快速准确地提取出有用的信息。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Pengsen Ma

太谢谢了

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值