从OpenAI看深度学习研究前沿

版权说明:本文为原创文章,未经作者允许不得转载。

1 前言

想必很多知友都知道OpenAI这家初创公司。OpenAI是2015年底刚成立的人工智能公司,由Elon Musk领投,号称有10亿美金的投资额,由几位人工智能的顶尖好手组成。这基本上意味着一个新的DeepMind公司诞生,只不过这次OpenAI是一个非营利性的研究机构,不属于任何大公司。

为什么要了解OpenAI?

因为OpenAI的研究内容很大程度上代表着人工智能的研究方向,由于Elon Musk的影响力,公司非盈利的性质以及地处加州硅谷这种黄金地段,未来聚集更多顶尖人才的可能性很大,成为一个和DeepMind公司抗衡的可能性非常大。OpenAI的出现将使顶级人工智能的研究不至于被Google,Microsoft,Facebook,Baidu,IBM,Nvidia等等行业巨头垄断。

OpenAI 网址:www.openai.com
OpenAI AMA: AMA网址

OpenAI的很多成员恐怕大家都比较熟悉,有Hinton的学生 Ilya Sutskever,有李飞飞的学生 Andrej Karpathy,有Yann Lecun的学生Wojciech Zaremba,有Pieter Abbeel的学生John Schulman,也就是Andrew Ng的徒孙了。最近Ian Goodfellow大牛也加入了,Deep Learning那本书就是他主笔的。而最新的消息 Pieter Abbeel,深度增强学习的大牛,也加入了OpenAI。

OpenAI的核心目标和DeepMind公司一样,就是Solve Intelligence。解决智能,然后服务全人类,并且通过公开的方式来防止人工智能威胁。对于防止人工智能威胁的方法这里我们就不讨论了,我们更关心的是:

  • OpenAI具体在研究什么?
  • 为什么研究这些问题?
  • 这些问题是解决人工智能最关键的问题吗?

本文尝试分析以上的问题。

2 OpenAI的研究方向

OpenAI AMA中可以看到OpenAI提了三点研究方向:

  • Training Generative Models
  • algorithms for inferring algorithms from data
  • new approaches to reinforcement learning

这基本代表了以下三个研究主题:

  • Deep Generative Model 深度生成模型
  • Neural Turing Machine 神经图灵机
  • Deep Reinforcement Learning 深度增强学习

那么这三个方向的研究的意义在哪里呢?

3 Deep Generative Model 深度生成模型

深度生成模型的研究目标是通过学习现有的数据生成新的数据,即包含监督学习,也包含无监督学习。比如下图的例子来自otoro.net,通过学习文字,然后自动生成新的文字,而这些文字人类几乎看不出区别。

比较有名的例子就是在艺术上的应用,比如Deep Dream,Neural Art,这些方法能够提取绘画艺术风格的特征,然后将特征应用在新的图片上从而产生新的图像。

除了上面的例子,还有Sequence to Sequence Learning,从序列到序列的学习。翻译:输入英文,输出中文。聊天:输入A对话,输出B对话。 输入文字,输出手写字体。另一个比较重要的工作就是Deep Generative Adversarial Networks深度生成对抗网络,以及据此发展的DCGAN深度卷积生成对抗网络:

除了以上,深度生成模型也包含one shot learning的研究,也就是看一眼图像,就衍生出其变种,最新的进展是DeepMind的 One-Shot Generalization in Deep Generative Models 

那么这方面的研究意义在哪呢?我的观点是探索人工智能的感知理解能力。一方面是不同类型数据的感知,一方面是快速感知与学习。对于不同类型数据的感知。以前只是图像识别,现在开始识别艺术特征,也可以识别文字信息的特征用于翻译对话等等。然后我们发现RNN简直无敌,什么信息都能自动提取。对于同一个seq2seq网络,用在翻译,聊天,理解炉石传说的卡片。。。 RNN可以理解任意形式的内容。另一方面我们希望能够想人类一样快速感知,而不需要巨量的训练数据,也就是看一眼就认得。

4 Neural Turing Machine 神经图灵机

理论上基于RNN计算机可以学习任何东西,那么当然也包括算法和程序了。所以Neural Turing Machine是目的是让计算机能够学习程序,从而具备推理能力。举个栗子:让计算机看很多加法运算,然后学会加法,这大概是最简单的例子。但基本是这个意思。那么Neural Turing Machine需要具备外部记忆,不过RNN,LSTM本身就具备记忆功能。想象一下未来的电脑真的变成一个“脑”:一个巨大的神经网络来实现输入输出。。

上一类研究问题是实现AI更强的感知能力,那么这一类问题可以说更变态了,直接要实现AI不仅能理解还能推导。当然本质上和第一类问题是一样的。感知也是一种理解。归根到底都是提取某种特征或者说知识信息,并且具备生成能力。依然是用RNN,目前最新的是基于增强学习的NTM。也就是说也通过自学习来增强理解。而ICLR 2016的最佳论文则通过神经网络实现程序的解释器:

这一部分的研究还面向公式的证明,但这次是使用神经网络来证明公式。
其实只要能通过RNN使计算机具备理解能力,那么做什么事都一样。

5 Deep Reinforcement Learning 深度增强学习

上面两类问题主要依赖于现有知识,目的是使AI具备牛逼的学习能力。但是要使AI超越人类,就需要自我学习。大家知道AlphaGo能够自我学习,关键就是利用增强学习Reinforcement Learning.
因此,这部分Deep Reinforcement Learning,重点在于使用增强学习实现自学习能力。有很多任务并不是提供很多的样本,特别在机器人控制领域。这类问题严重需要自学习能力。也就是类比为人类的运动能力。大家知道我们要打篮球打得好需要长期的练习,并不是看一眼就会的。因此,Deep Reinforcement Learning,通往AGI的终极武器,要使AI具备自我学习的能力,只要给定一个目标。

OpenAI发布的第一项工作就是OpenAI Gym,增强学习研究平台,一个类似于ImageNet的平台,大家提交结果进行增强学习任务的比较。

6 小结

从以上的分析可以看出,人工智能的发展已经超出了很多人的想象,顶级人工智能学者的研究方向已经触及了强人工智能的实现核心了。OpenAI的研究方向的进展将使人工智能具备更强的学习能力,也可以说是智能水平!三种类型的研究方向其实都相互依赖,只是各有侧重,都非常酷。知友们,你们更感兴趣哪一个研究方向呢?

阅读更多

没有更多推荐了,返回首页