『论文阅读』Generating Videos With Scene Dynamics

最新推荐文章于 2021-05-27 13:41:00 发布
最新推荐文章于 2021-05-27 13:41:00 发布
阅读量3.3k 收藏 4
点赞数 3
分类专栏： 论文阅读 文章标签： 阅读 GAN
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010620946/article/details/53681081
版权
该论文提出了一种结合视频识别与视频生成任务的GAN网络模型，通过未标记视频训练，模型能生成短视频并预测图像序列。OneStream和TwoStream架构用于处理静态背景与动态前景。实验在特定场景下进行，如高尔夫球场、医院房间等，并进行了相机抖动处理。人工评判显示生成效果良好，未来研究方向包括条件生成和一致性约束。
摘要由CSDN通过智能技术生成

来源：NIPS2016

这篇论文提出了一个基于GAN的网络模型，同时可以进行视频识别和视频生成的task。

Task

　　Video recognition & video Generation.

　　即利用一些Unlabeled videos 去训练模型同时解决识别问题和视频生成的任务。

实验表明：

  1. 模型可以生成一些短小的视频并且效果较好

  2. 可以根据static image 预测之后的图片序列

  3. 模型学习到的特征可以很好的用来进行图片分类

model

这里写图片描述

OneStream Architecture:

　　在Figure 1 中蓝色的部分即为 One Stream Architecture。

Two StreamArchitecture:

　　即Figure 1 完整版，因为One StreamArchitecture不能很好的建模实际情况：视频通常由静态的背景和动态的前景构成。

　　所以设计了双路的生成模型分别用来生成静态背景 Background 和前景动态Foreground。然后利用：

最低0.47元/天 解锁文章
xap_Cloud
关注
  • 3
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
videogan：使用Scene Dynamics生成视频。 NIPS 2016
02-04
使用场景动态生成视频 该存储库包含实现在NIPS 2016上出现的Carl Vondrick，Hamed Pirsiavash，Antonio Torralba的“的实现。该模型学习使用对抗网络生成微型视频。 示例世代 以下是我们的模型生成的一些选定视频。 这些视频不是真实的； 它们被生成的视频模型迷住了。 尽管它们不是逼真的照片，但是对于他们所训练的场景类别而言，这些运动是相当合理的。 海滩 高尔夫球 火车站 宝宝 训练 该代码需要安装Torch7。 要训​​练视频生成器，请参阅main.lua。 该文件将构建网络，启动许多线程以加载数据并训练网络。 有关条件版本，请参
【论文阅读】Generating Videos with Scene Dynamics
zzmshuai的博客
08-11 740
【论文阅读】Generating Videos with Scene Dynamics 这篇论文属于一篇视频生成的论文，论文将视频的前景和背景进行了解耦，分别使用3D卷积网络生成运动前景和使用2D卷积网络生成静态背景，同时在生成的过程之中使用了含有mask的显性表达式，之后会详细地介绍。 正文 该文章将运动前景的生成和静态背景的生成解耦了，首先输入为100维的噪声向量，然后使用3D转置卷积网络生成...
论文阅读：Generating Videos with Scene Dynamics
qq_36627158的博客
05-27 365
目录 Contributions Method 1、Video Generator Network 2、Video Discriminator Network Results 1、Quantitative Results on Video Generator 2、Video Representation Learning (Video Discriminator) 论文名称：Generating Videos with Scene Dynamics（2016 NIPS） 论文作者：C.
视频生成（Generating Videos with Scene Dynamics）实践
大数据挖掘SparkExpert的博客
06-27 6290
视频生成与视频识别是视频分析的两大任务，前者侧重于对下一帧的预测，而前者则侧重于视频内容的理解。由于视频是由一系列的视频帧组成的，那么如果有大量的视频数据，通过分析视频中动态场景的变化情况，就可以合成出一些小的动态场景视频。这也是论文Generating Videos with Scene Dynamics(http://carlvondrick.com/tinyvideo/paper.pdf)的...
（无监督学习&&视频预测）所读论文[2]:Generating Videos with Scene Dynamics
jinbeibei0606的博客
08-23 1915
2017-8-23Generating Videos with Scene Dynamics1.基本信息 发表在NIPS2016; 网址：http://carlvondrick.com/tinyvideo/ 2.简介这篇论文介绍的是利用大量的无标签视频数据训练生成对抗网络GAN从而得到可以生成视频序列的模型。实验表明模型可以更好的以全帧率的速度产生小视频，可以合理的预测静态图像接下来要发生什么，此外
Generating Videos with Scene Dynamics.pdf
07-11
论文提出了一种名为DVD-GAN的生成对抗网络模型，它具有时空卷积架构，能够将场景中的前景与背景分离。通过实验验证，该模型能够生成高质量的小型视频，并展示了其在静态图像未来预测方面的实用性。此外，模型内部还...
Predicting and Generating Wallpaper Texture with Semantic Properties
02-07
### 预测与生成壁纸纹理的语义属性 #### 概述 本文献探讨了一种预测和生成具有语义属性的壁纸纹理的方法。作者们针对当前壁纸选择和描述主要依赖于直观信息的问题，提出了一种更为复杂且精确的方法来处理实际世界中...
Generating Parsers with JavaCC-Centennial
09-09
《Generating Parsers with JavaCC-Centennial》是Tom Copeland撰写的一本书，出版于2009年，主要探讨了如何使用JavaCC工具生成解析器。JavaCC（Java Compiler Compiler）是一个广泛使用的开源工具，它允许开发者用...
advGAN_pytorch:论文“Generating Adversarial Examples with Adversarial Networks” (advGAN) 的 Pytorch 实现
05-31
论文“Generating Adversarial Examples with Adversarial Networks” (advGAN) 的 Pytorch 实现。 训练目标模型 python3 train_target_model.py 训练 advGAN python3 main.py 测试对抗样本 python3 test_...
Generating Long Videos of Dynamic Scenes.pdf
最新发布
07-11
- **技术评估**：研究人员和开发人员可以利用论文中提到的评估指标来比较不同模型生成的视频质量。 #### 六、结论与展望 通过展示 DVD-GAN 在复杂视频数据集上的应用，本研究推动了视频生成技术的发展，并为未来在...
论文阅读：Scene Dynamics: Counterfactual Critic Multi-Agent Training for Scene Graph Generation
Kivee的博客
12-19 1108
Scene Dynamics 文章   我之前一直想着要提高scene graph的质量，最重要的应该是提高对关系的识别能力，也就是提高predcls任务的效果，但是本文提醒了我，把对目标的识别和和关系的识别结合起来，也能有效提高scene graph的质量。   本文认为，目前的关系检测算法大都没有将目标的检测放在graph的层次上思考，message passing算是...
视频预测论文（GAN）（2）-Generating Videos with Scene Dynamics
ygh1872774470的博客
03-15 3388
Generating Videos with Scene Dynamics 这是MIT大佬的论文，这篇主要讲的视频生成，附带有视频预测,也是用gan网络 先介绍一下 3D卷积神经网络 (http://blog.csdn.net/sinat_24143931/article/details/78892362) 这里一个核心思想是将视频分成了前景（foreground ）和后景(backgro...
【一些网站的收集】包含机器学习深度学习大牛主页等
热门推荐
风翼冰舟的博客
06-18 2万+
数学概念部分 旋转矩阵、欧拉角、四元数的比较 欧拉角和四元数的表示 四元数与旋转 B样条曲线 非常好的概率统计学习的主页 误差方差偏差 编程语言学习 C#编程视频 OpenGL编程NeHe OpenGL官网 OpenGL“我叫MT“纯手工3D动画制作之1——基础介绍 【强大】非常好的OpenGL教程 2D和3D的OpenGL教程 【Python】从入门到机器学习的视频教...
深度学习之异常检测+视频预测+预训练+视频标注+镜头边界检测+行为分割+视频生成gif--附带源码和作者主页
WJ_MeiMei的博客
11-22 7926
异常检测   Fully Convolutional Neural Network for Fast Anomaly Detection in Crowded Scenes arxiv: http://arxiv.org/abs/1609.00866 Anomaly Detection in Video Using Predictive Convolutional Long Short-Te...
CVPR2018 ——(GAN)延时摄影视频的生成
gzq0723的博客
05-19 3526

 
 
 
 
 
 
 CVPR2018即将开始，陆陆续续很多优秀的作品被大家知晓。今天我们来说说又去的科研成果，也希望阅读...
资源|17类对抗网络经典论文及开源代码（附源码）
人工智能
04-10 1万+
对抗网络专题文献集 第一篇论文 [Generative Adversarial Nets](the first paper about it) [Paper]：https://arxiv.org/abs/1406.2661 [Code]：https://github.com/goodfeli/adversarial 未分
【论文阅读】Video Generation from Single Semantic Label Map-CVPR2019
a529975125的博客
06-12 2019
题目: Video Generation from Single Semantic Label Map 原文：https://arxiv.org/pdf/1903.04480v1.pdf pytorch代码：https://github.com/junting/seg2vid 摘要 任务： video generation conditioned on a single semantic la...
生成式对抗网络（GAN）学习笔记
weixin_30530523的博客
02-28 1274
图像识别和自然语言处理是目前应用极为广泛的AI技术，这些技术不管是速度还是准确度都已经达到了相当的高度，具体应用例如智能手机的人脸解锁、内置的语音助手。这些技术的实现和发展都离不开神经网络，可是传统的神经网络只能解决关于辨识的问题，并不能够为机器带来自主创造的能力，例如让机器写出一篇流畅的新闻报道，生成一副美丽的风景画。但随着GAN的出现，这些都成为了可能。 什么是GAN？ 生成式对抗网络（GAN...
(转) AdversarialNetsPapers
a1424262219的博客
01-13 202
本文转自：https://github.com/zhangqianhui/AdversarialNetsPapers AdversarialNetsPapers The classical Papers about adversarial nets The First paper ✅[Generative Adversarial Nets]...
music transformer: generating music with long-term structure
09-13
音乐转换器是一种能够生成具有长期结构的音乐的技术。传统上，音乐生成模型主要依赖于自回归模型，即根据前面的音符预测下一个音符。这种方法很难捕捉到音乐的长期结构，因为它只关注于当前音符与前面音符的关系。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值