视频预测论文（GAN）（1）-DEEP MULTI-SCALE VIDEO PREDICTION BEYOND MEAN SQUARE ERROR

最新推荐文章于 2024-06-17 09:43:12 发布
最新推荐文章于 2024-06-17 09:43:12 发布
阅读量3.1k 收藏 12
点赞数
分类专栏： 视频行为预测学习 GAN网络相关

准备就一系列论文的学习写博客，方便自己查找。

这是第一篇

DEEP MULTI-SCALE VIDEO PREDICTION BEYOND MEAN SQUARE ERROR

这篇我主要关注通过gan网络生成的预测

首先我们的输入包括真实前置帧X,真实待预测帧Y,生成器G,判别器D
在训练判别器时，我们将真实的X,Y打包成（X,Y）
在训练生成器时，我们将X与高斯分布Y’打包得到（X,G(X)）并将它作为输入
输入判别器中
判别器的训练

我们将真实待预测帧定义为1，将生成器生成帧定义为0
对于真实图片，我们尽可能让D(X,Y)=1,
对于生成图片，让D(X,G(x))=0
判别器

Lbce表示交叉熵

生成器的训练
对于生成图片，让D(X,G(x))=1
这里写图片描述

然后通过随机梯度下降法进行训练

训练网络
生成器，映射为(m+n)*h*w->(m+n)*h*w
判别器，映射为(m+n)*h*w->[0,1]

实验结果：
数据集：UCF101

1帧和2帧预测
1帧和两帧

1帧和8帧预测
这里写图片描述

这里我们可以看到，当预测帧数较多时，SSIM不是很高，这篇论文比较早，看之后的论文有没有解决。

tensoeflow代码实现

ygh1872774470
关注
专栏目录
视琦网络训练视频_超越均方误差的多尺度视频预测（ICLR 2016）
weixin_39561004的博客
12-06 862
DEEP MULTI-SCALE VIDEO PREDICTION BEYOND MEAN SQUARE ERROR摘要本文的贡献主要在于对利用MSE损失函数预测视频帧模糊的问题的改进上提出了三种策略策略：多尺度结构，对抗训练以及图像的梯度差分损失函数。同时在UCF101数据集上与基于循环神经网络的预测框架进行了对比。一、模型传统的卷积神经网络视频预测模型的框架如下Figure 1所示，利用输入的...
不可错过的 GAN 资源：教程、视频、代码实现、89 篇论文下载
weixin_43659035的博客
09-27 381
2017-05-01 17:13 新智元编译 来源：GitHub 整理：刘小芹 新智元启动 2017 最新一轮大招聘：COO、总编、主笔、运营总监、视觉总监等８大职位全面开放 安全性未知，该超链接内容与搜狐无关 。 新智元为COO和执行总编提供最高超百万的年薪激励；为骨干员工提供最完整的培训体系、高于业界平均水平的工资和奖金。加盟新智元，与人工智能业界领袖携手改变世界。 简历投递...
探索未来：DDPAE——视频预测的新境界
最新发布
gitblog_00052的博客
06-17 333
探索未来：DDPAE——视频预测的新境界 DDPAE-video-predictionLearning to Decompose and Disentangle Representations for Video Prediction, NIPS 2018项目地址:https://gitcode.com/gh_mirrors/dd/DDPAE-video-prediction 在现代人工智能领域...
基于深度学习的视频预测文献综述
Glooow的博客
03-09 4042
A Survey on Deep Video Prediction 1. 简介 视频预测是一种无监督学习，因为要从图像序列中学习到未标注的视频数据结构信息。他需要对每个像素都进行预测。为了实现好的效果，需要使用一些复杂的损失函数。同时视频预测还是一种多模式的问题，因为正确的预测还需要很多视频中未给出的潜在的信息。 传统方法基本对于高分辨率无能为力，因为他们不能处理真实世界的复杂性。DNN在物体识别...
视频预测论文（Gan）（3）-Dual Motion GAN for Future-Flow Embedded Video Prediction
ygh1872774470的博客
03-15 1966
Dual Motion GAN for Future-Flow Embedded Video Prediction 继续视频预测的论文 该论文的核心思想主要是有两个generator, 两个discrimination 一个关于帧，一个关于光流 结果： ...
Video-frame-prediction-by-multi-scale-GAN-master.zip
11-12
基于GAN的视频预测代码，Python语言，Chainer框架。已复现，有问题可评论或私信。基于GAN的视频预测代码，Python语言，Chainer框架。已复现，有问题可评论或私信。
视频预测论文（GAN）（2）-Generating Videos with Scene Dynamics
ygh1872774470的博客
03-15 3398
Generating Videos with Scene Dynamics 这是MIT大佬的论文，这篇主要讲的视频生成，附带有视频预测,也是用gan网络 先介绍一下 3D卷积神经网络 (http://blog.csdn.net/sinat_24143931/article/details/78892362) 这里一个核心思想是将视频分成了前景（foreground ）和后景(backgro...
转自新鲜出炉的知乎大神Hao Zhang的“视频理解近期研究进展”
mini猿要成长QAQ
05-29 9514
因为暑期实习需要做一些视频理解相关的工作，这一领域还不太熟悉，今天中午在知乎看到知乎大神Hao Zhang更新了一篇文章。可以说对视频理解领域的介绍与阐述非常详细了，所以转过来方便长久学习。知乎大神Hao Zhang的知乎主页：https://www.zhihu.com/people/hao-zhang-0214/activities 全是干货！！！！膜！！！下面转自大神的文章：相比图像，视频多了...
（十一：2020.08.28）CVPR 2017 追踪之论文纲要（译）
Jojo论文基地
08-28 3210
CVPR 2017 追踪之论文纲要（修正于2020.08.28）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 下面皆为机器翻译以方便我第一次筛选，我会慢慢修正，但现在请结合。有兴趣的可以问我要处理这些论文并自动翻译的脚本。 Respect！ 论文目录
CVPR 2021最全论文开放下载！附pdf下载链接！
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
CVPR 2017论文集锦（论文分类）—— 附录部分翻译
dengheCSDN的博客
08-23 2万+
作为计算机视觉领域的三大顶级会议之一，CVPR 2017 又收录了很多优秀的文章。具体可参见 CVPR 的论文官网：http://www.cvpapers.com/cvpr2017.html        Machine Learning 1 （机器学习） Spotlight 1-1A  （关注的焦点 1-1 A） Exclusivity-Consistency Regular
AAAI 2022 论文列表
gbstack08的专栏
02-15 2万+
链接及代码之后会更新 GitHub链接：https://github.com/gbstack/AAAI-2022-papers Scaled ReLU Matters for Training Vision Transformers Pichao Wang, Xue Wang, Hao Luo, Jingkai Zhou, Zhipeng Zhou, Fan Wang, Hao Li, Rong Jin Search Strategies for Topological Network Optimizat
深度学习之异常检测+视频预测+预训练+视频标注+镜头边界检测+行为分割+视频生成gif--附带源码和作者主页
疯狂的鸡窝
12-04 2000
<!--一个博主专栏付费入口结束--> <link rel="stylesheet" href="https://csdnimg.cn/release/phoenix/template/css/ck_htmledit_views-4a3473df85.css"> ...
对抗神经网络(Adversarial Nets)的介绍[1]
热门推荐
一个想要改变世界的IT slave的专栏
10-03 4万+
对抗NN简介 概念介绍 对抗名字的由来及对抗过程 对抗NN的模型 对抗NN的模型和训练 判别网络D的最优值 模拟学习高斯分布 对抗NN实验结果 《生成对抗NN》代码的安装与运行 对抗网络相关论文 论文引用 一、对抗NN简介 大牛Ian J. Goodfellow 的2014年的《Generative Adversative Nets》第一次提出了对抗网络模型，短短两年的时间，这个模型在深
Generative Adversarial Network (GAN) papers (2018.2.4 更新）
omnispace的博客
11-07 6621
AdversarialNetsPapersThe classic about Generative Adversarial NetworksThe First paper [Generative Adversarial Nets] [Paper][Code](the First paper of GAN)Unclassified [Deep Generative Image Models usin...
资源|17类对抗网络经典论文及开源代码（附源码）
人工智能
04-10 1万+
对抗网络专题文献集 第一篇论文 [Generative Adversarial Nets](the first paper about it) [Paper]：https://arxiv.org/abs/1406.2661 [Code]：https://github.com/goodfeli/adversarial 未分
CVPR 2018：用GAN预测20年后你长什么样
weixin_34326429的博客
06-14 689
警方要搜寻一个失踪多年的人或逃犯时，有时候线索只有一张旧照片。艺术家或计算机程序可以尝试根据旧照片推测这些人今天的样子，但这两种方法都有缺陷。现在，科学家们已经能够利用AI来渲染照片中的人年老后的样子，其结果比以往的方法更加逼真。 来自北京航空航天大学和密歇根州立大学的研究人员设计了这样一个系统。该系统采用一种由两个部分组成的算法，即生成对抗网络（GAN...
【论文推荐】了解《视频预测》必看的6篇论文（附打包下载地址）
weixin_48294000的博客
01-09 3217
论文推荐“SFFAI135期来自中国科学院计算技术研究所博士在读的常峥推荐的文章主要关注于计算机视觉的视频预测领域，你可以认真阅读讲者推荐的论文，来与讲者及同行线上交流哦。”关注文章公众号...
lstm多步预测matlabLstm multi-step prediction matlab
04-07
There are several ways to perform LSTM multi-step prediction in Matlab. One possible approach is as follows: 1. Load and preprocess the data: Load the dataset and preprocess it by normalizing the data, dividing it into training and testing sets, and creating input-output pairs for the LSTM model. 2. Define the LSTM model: Create a Sequential model in Matlab and add LSTM layers with appropriate input and output sizes. You may also add other layers such as Dropout or Dense layers to improve the model's performance. 3. Train the LSTM model: Train the LSTM model on the training data using the fit function in Matlab. You can specify the number of epochs, batch size, and other training parameters. 4. Make predictions: Use the predict function in Matlab to make predictions on the test data. You can use the output from the previous time step as input for the next prediction, creating a sequence of predictions. 5. Evaluate the model: Calculate the mean squared error or other metrics to evaluate the performance of the LSTM model. Here is some sample code for LSTM multi-step prediction in Matlab: % Load and preprocess the data data = load('data.mat'); data = normalize(data); [trainData, testData] = splitData(data, 0.8); [trainX, trainY] = createInputOutputPairs(trainData, seqLength, numFeatures); [testX, testY] = createInputOutputPairs(testData, seqLength, numFeatures); % Define the LSTM model model = createLSTMModel(seqLength, numFeatures, numOutputs, numHiddenUnits); % Train the LSTM model options = trainingOptions('adam', 'MaxEpochs', numEpochs, 'MiniBatchSize', miniBatchSize); trainedModel = trainModel(model, trainX, trainY, options); % Make predictions numSteps = size(testX, 2) / numOutputs; predictions = []; for i = 1:numSteps idx = (i-1)*numOutputs+1 : i*numOutputs; if i == 1 input = testX(:, idx, :); else input = cat(2, output, testX(:, idx(end), :)); end output = predict(trainedModel, input); predictions = cat(2, predictions, output); end % Evaluate the model mse = evaluateModel(predictions, testY);
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值