魔方模拟器_械臂最近有点忙：OpenAI教它玩魔方，DeepMind让它搭积木！

AI WORLD 2019 世界人工智能峰会精彩重放！

10 月 18 日，2019 中关村论坛平行论坛 ——AI WORLD 2019 世界人工智能峰会在北京启幕。新智元杨静、科大讯飞胡郁、微软王永东、华为王成录、英特尔宋继强、旷视及智源学者孙剑、滴滴叶杰平、AWS 张峥、依图颜水成、地平线黄畅、autowise.ai 黄超等重磅嘉宾中关村论剑，重启充满创新活力的 AI 未来。峰会现场，新智元揭晓 AI Era 创新大奖，并重磅发布 AI 开放创新平台和献礼新书《智周万物：人工智能改变中国》。回放链接：

【腾讯科技】 客户端：https://view.inews.qq.com/a/TEC2019101600718500     PC 端：http://v.qq.com/live/p/topic/74606/preview.html 【海淀融媒】 https://m.toutiaoimg.cn/i6748195040323062540 【新浪科技】 http://video.sina.com.cn/l/p/1728577.html

  新智元报道  

编辑：大明

【新智元导读】一周前OpenAI刚教机械臂解魔方，今天DeepMind就用机械臂搭起了积木。DeepMind利用智能体迁移学习，将虚拟环境中的知识转移到现实中的机械臂，效果显著，机械臂搭积木的成功率从基线方法的12%猛增至62%。来新智元 AI 朋友圈和大咖一起讨论吧～

教机械手搭积木的最简单方法是什么？DeepMind的研究人员最近就在研究这个问题。   只要想用AI解决问题，总是需要大量数据，而目前的机器人技术很难获得这些数据。即使假设有足够的数据来训练机器学习模型，但如果没有人工注释，再多的数据往往也是没有用的。   不过，DeepMind研究人员开发出了一套可以在模拟环境中从观察中学习的系统(MuJoCo)，并将学习的知识迁移至现实世界中。在一份详细介绍他们研究的预印本论文中，他们声称新方法可以指导模拟环境下基于视觉学习的智能体，仅用五个小时的非标记数据，教会了现实世界中机器臂如何搭积木。   上周，OpenAI刚刚发表了一篇论文，研究了将AI模型学习到的技能从仿真智能体转移到现实世界中的机器人的方法，以解决“解魔方”这类任务。这项研究采用了结构复杂的机械手来操作魔方。   而DeepMind团队本次的任务是“搭积木”，他们使用的是功能相对基础的Sawyer抓手。 来看一段视频演示： 研究人员采用两步适应程序。首先，利用模拟环境来学习一种策略，该策略可通过合成图像和本体感知(位置和运动的感知)来解决“堆积木”的任务。任务由两个智能体程序(分别是：可访问模拟器状态的、基于状态的智能体程序，以及使用原始像素观测值的、基于视觉的智能体程序)同时进行训练，由前者为后者提供用于强化学习的数据。  

上图：在真实和模拟域随机环境中的像素对比结果

  第二步，未标记的真实图像序列有助于使状态表示更快地适应真实域，提供同时适用于仿真环境和现实环境的目标。 研究人员表示，利用受过模拟训练的智能体收集的未标记数据，可以减轻模拟智能体与真实机器人之间的性能差距。   实验结果表明，DeepMind的“从模拟到真实”的迁移学习方案与域随机化和其他自监督的适应技术相比，产生了“明显的性能提升”。平均而言， 叠积木的成功率提升至62％，远好于基线方法12％的成功率水平。   该论文的作者表示：“我们的智能体实现了从视觉上与现实世界的交互，让这一方法能够适用于大量的操纵控制任务。堆积木的任务凸显出了机械臂长距离操纵任务的通用方法。最重要的是，这种方法可以更充分地利用未经标记的真实世界的数据，来提高堆积木的表现。”   参考链接： https://venturebeat.com/2019/10/22/deepmind-transfers-cube-stacking-skills-from-simulation-to-physical-robot/ 论文地址： https://128.84.21.199/pdf/1910.09470.pdf