AI论文探讨室·A+·第4期-Unsupervised Learning for Physical Interaction through Video Prediction

最新推荐文章于 2019-12-27 12:33:16 发布
最新推荐文章于 2019-12-27 12:33:16 发布
阅读量820 收藏 1
点赞数 1
分类专栏： 无监督学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CSS360/article/details/101348514
版权

NeurIPS 2016

《Unsupervised Learning for Physical Interaction through Video Prediction》
论文链接

代码链接

主要解决的问题：解决真实世界的相互学习来预测目标的运动

本论文主要出发点：使用基于条件运动的视频预测，来代替先前方法使用目标标签预测

主要描述

       本论文提出的模型，能够明确地预测动作，它能保持目标外观保持部分不变，能够生成先前看不见的目标。本论文引入了一个59000张机器人交互运动的数据集，包含一个测试集对新的目标。在这个数据集，精确预测了机器人将来的动作，通过基于不同运动仿真，来学习不同特征下的“视觉图像”。

系统架构

使用卷积LSTM来处理图像，在最小的中间层的网络和最后一层11通道合成mask，输出10个归一化转换核。这个核用来转换先前图像到10个不同变换上，然后合成在一起根据Mask。这个mask在每个像素上累加是1，因为一个信道softmax。

效果图

主要工作

（1）提出一个基于条件运动的视频预测模型

（2）展示了两个数据集59,000真实Robot和1.5百万视频帧

了解更多关于《计算机视觉与图形学》相关知识，请关注公众号：

下载我们视频中代码和相关讲义，请在公众号回复：计算机视觉课程资料

元宇宙MetaAI
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Clustering-UnsupervisedLearning:KMeans算法实现
05-11
聚类无监督学习（K均值） k均值聚类是一种矢量量化方法，最初来自信号处理，在数据挖掘的聚类分析中很流行。 k均值聚类旨在将n个观察值划分为k个聚类，其中每个观察值均属于具有最均值的聚类，作为聚类的原型。...
预测学习应用于机器人之Unsupervised Learning for Physical Interaction through Video Prediction
qq_39367282的博客
05-31 1025
这篇论文是Chelsea Finn在2016Nips上发表的将video prediction和robotics结合起来的一个很好的尝试。这是在我阅读了一些相关论文之后老师建议先做一个baseline model，将这个工作进行一些修改。所以在这里重新整理一遍。 Abstract 摘要部分，总结了一下全文，说了下面几个事情： 机器人与环境交互的挑战之一是要预测它的行为会对环境产生什么样的影响，但是现有的大部分方法需要labeled物体信息，这里要解决的就是如何使用未标记的数据学习物体的运动 这篇文章提出了
生成式模型 & 生成对抗网络——资料梳理（专访资料 + 论文分类）
Solomon1558的专栏
08-27 2万+
文献整理   题目 主要内容                             GAN综述 【1】 「无中生有」计算机视觉探奇 （下）   1. 1）超分辨率重建；2）图像着色；3）看图说话；4）人像复原；5）图像自动生成 2. 生成对抗网络博弈论中的零和博弈 3. 将GAN用
对抗神经网络之对抗卷积神经网络[2]
一个想要改变世界的IT slave的专栏
12-13 1万+
上一篇博文[1]简单介绍了对抗网络的理论和大概流程。其中所谓的对抗网络可以归结为unsupervised learning 或者 generative model。从无监督学习来进行feature representation,有k-means聚类算法，auto-encoders[2]，以及09年的Deep belief networks等等。
深度学习之异常检测+视频预测+预训练+视频标注+镜头边界检测+行为分割+视频生成gif--附带源码和作者主页
WJ_MeiMei的博客
11-22 7961
异常检测   Fully Convolutional Neural Network for Fast Anomaly Detection in Crowded Scenes arxiv: http://arxiv.org/abs/1609.00866 Anomaly Detection in Video Using Predictive Convolutional Long Short-Te...
基于深度学习的视频预测研究综述
NEVERGUVEIP的博客
07-30 1万+
原址：http://html.rhhz.net/tis/html/201707032.htm （收集材料ing，为论文做准备)[综述性文章，，，可以做背景资料]   莫凌飞, 蒋红亮, 李煊鹏     摘要：近年来，深度学习算法在众多有监督学习问题上取得了卓越的成果，其在精度、效率和智能化等方面的性能远超传统机器学习算法，部分甚至超越了人类水平。当前，深度学习研究者的研究兴趣逐渐从监督学习...
Grip-task-Prediction-using-unsupervised-learning:任务2
04-06
在本项目“Grip-task-Prediction-using-unsupervised-learning:任务2”中，我们将探讨如何运用无监督学习方法来预测和理解数据集的内在结构。无监督学习是一种机器学习技术，它允许我们在没有预先标记的目标变量的...
Unsupervised-Keypoint-Learning-for-Guiding-Class-conditional-Video-Prediction:论文《指导类条件视频预测的无监督关键点学习》的正式实施，NeurIPS 2019
05-03
论文“指导类有条件的视频预测的无监督关键点学习”的正式实施，NeurIPS，2019年。[] [ ] 一，要求 Linux NVIDIA GeForce GTX 1080Ti Tensorflow 1.12.0 Python3（> = 3.5.2） 依存关系 您可以通过运行pip ...
机器学习 -- Unsupervised Learning: Deep Auto-encoder
01-30
Unsupervised Learning: Deep Auto-encoder Auto-encoder Deep Auto-encoder Auto-encoder – Text Retrieval Auto-encoder – Similar Image Search Auto-encoder for CNN CNN -Unpooling CNN - Deconvolution
quasi-unsupervised-cc:论文“准无监督颜色恒定性”中描述的方法的实现-CVPR 2019
05-04
拟无监督的颜色恒定性本文所述方法的实现： 西蒙妮·比安科（Simone Bianco），克劳迪奥·库萨诺（Claudio Cusano），“准无监督色彩恒定性”-CVPR 2019 该文件可。 另请参见或尝试。
值得精读的GAN论文推荐
Double_V的博客
12-06 4682
前言 本文主要推荐一些生成对抗网络（GAN，generative adversarial networks）相关的值得精读的论文，主要涉及GAN的优化，图像翻译，视频预测三个领域，可以作为GAN的学习顺序进行阅读。 GAN的优化 想要使用GAN完成期望的学习任务，精致的网络设计和合适的目标函数必不可少，二者是实现较高performance的关键因素。 在损失函数的优化论文方面，效果比较突出且使用较...
The classical Papers about GAN
Forlogenの解忧杂货铺
04-25 270
The classical Papers about adversarial nets The First paper ✅ [Generative Adversarial Nets] [Paper][Code](the first paper about it) Unclassified ✅ [Deep Generative Image Models using a Laplacian Pyram...
(转) AdversarialNetsPapers
a1424262219的博客
01-13 203
本文转自：https://github.com/zhangqianhui/AdversarialNetsPapers AdversarialNetsPapers The classical Papers about adversarial nets The First paper ✅[Generative Adversarial Nets]...
NIPS 2016上22篇论文的实现汇集
jiandanjinxin的专栏
01-05 3273
日前，LightOn CEO 兼联合创始人 Igor Carron 在其博客上放出了其收集到的 NIPS 2016 论文的实现（一共 22 个）。他写道：「在 Reddit 上，peterkuharvarduk 决定编译所有来自 NIPS 2016 的可用实现，我很高兴他使用了『实现（ implementation）』这个词，因为这让我可以快速搜索到这些项目。」除了 peterkuharvardu
生成对抗网络资源 Adversarial Nets Papers
weixin_33690367的博客
05-19 338
来源：https://github.com/zhangqianhui/AdversarialNetsPapers AdversarialNetsPapers The classical Papers about adversarial nets The First paper ✅[Generative Adversarial Nets][Paper][Code](the first ...
Discriminative Feature Learning for Unsupervised Video Summarization（论文翻译）
weixin_43590290的博客
12-27 1320
Discriminative Feature Learning for Unsupervised Video Summarization Abstract 在本文中，我们解决了无监督视频摘要的问题，该问题会自动从输入视频中提取关键镜头。具体而言，我们根据经验观察结果解决了两个关键问题：（i）由于每帧输出重要性得分的平均分布而导致无效的特征学习，以及（ii）处理长视频输入时的训练难度。为了缓解第一个...
深度学习之视频入门经典+视频分类+视频行为识别+行为检测+视频事件识别+事件检测--附带源码和作者主页
热门推荐
WJ_MeiMei的博客
11-22 2万+
视频研究入门经典   Labor-Free Video Concept Learningby Jointly Exploiting Web Videos and Images     intro: CVPR 2016     intro: Lead–Exceed Neural Network (LENN), LSTM     paper: https://www.microsoft.c...
Unsupervised Learning[论文合集]
gdtop的个人笔记
04-07 2999
https://handong1587.github.io/deep_learning/2015/10/09/unsupervised-learning.html Jump to... 1.Papers 1.Clustering 2.Auto-encoder 3.RBM (Restricted Boltzmann Machine) ...
常用芯片手册芯片资料MAX260常用芯片手册芯片资料MAX260
最新发布
08-31
常用芯片手册芯片资料MAX260常用芯片手册芯片资料MAX260提取方式是百度网盘分享地址
MG-BERT: leveraging unsupervised atomic representation learning for molecular property prediction预训练策略
05-10
MG-BERT是一种用于分子属性预测的预训练模型，它是基于BERT的模型。它的预训练策略可以分为以下几步： 1. 原子嵌入：使用晶体学数据库（CSD）中的晶体结构数据，从中提取原子坐标并将其转换为原子嵌入表示。 2. 无监督原子表示学习：使用Transformer编码器，对原子嵌入进行无监督的原子表示学习。通过掩码语言建模任务（MLM）和下一句预测任务（NSP）来训练模型。 3. 有监督分子属性预测：使用已知的分子属性数据集，对MG-BERT进行有监督的微调。 在预训练阶段，MG-BERT使用了与BERT类似的预训练任务，例如掩码语言建模任务和下一句预测任务。这些任务的目的是让模型学习原子之间的关系和上下文信息。在微调阶段，MG-BERT使用已知的分子属性数据集进行有监督的微调，以预测分子的性质。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值