对话人工智能专家-吴恩达等人 重要总结

问题一 现在深度学习如此火热，深度学习的技术现状，未来发展是否会成为通用技术基础？

 徐伟:深度学习会是人工智能的一个重要部分，而且被广泛使用。
吴恩达:我相信深度学习在未来几年会创造更大的价值，而且这方面很缺人才。目前的人工智能仍然距离 人的智能 很远，而且还不清楚如何达到人的水平。我认为 我们要清楚 需要 用深度学习 做什么，什么不应该做，这是很重要的。

问题二 在比较充分的数据和运算能力下，深度学习是否可以超越所有经典的数据挖掘算法？

徐:对于大多数监督学习问题，是可以的这么说。对于一些非监督学习问题，似乎还不能确定。
吴:我同意徐的说法,在大量标记数据下(mapping A-B)，而且有足够的神经网络，那么 可以证明深度学习算法对于目标识别问题是可以达到很高的识别率。

问题三 那对于半监督问题呢？

徐:目前为止一个比较成功的非监督例子是 Word Embedding.虽然很多人并不认为word Embedding是深度学习问题.它和传统的的非监督学习也不完全一样，实际上运用了上下文作文监督.
我认为非监督学习要取得成功，实际上更会趋向于这样的弱监督学习。

吴: Embedding在数学上表示一个maping, f: X -> Y， 也就是一个function,其中该函数是injective（就是我们所说的单射函数，每个Y只有唯一的X对应，反之亦然).对于A--B mapping 其中的B可以不是 0/1 ,也可以不是一个整形，完全可以是一个句子。这是深度学习算法的一个突破。对于监督学习，深度学习在翻译和语音识别上已经很成功了。其中一个案例就是百度的语音识别。神经网络学习 一个 A-B mapping（A是 Audio clip;B是text transcript）.我相信这个是世界上最好的普通话语音识别系统。

问题四 前段时间去百度的美国研究院，即时在非常大的噪音下，人基本上听不清里面的人在说什么，不过语音识别却识别正确了。Andrew，介绍下全球在语音识别方面的最新进展。

徐:目前的语音识别系统还没有像人那样能够很好的利用上下文信息。

吴:我认为语音识别朝着end-to-end learning(端对端意味着不训练单个的小任务，直接在原始数据上进行学习特征)发展。数据集越大，效果越好，而且有些模型效果更好。我们的工作受 CTC 的Alex Grave的工作影响很大。现在面临的两个挑战是:第一个，对于长的语句，包括很多上下文的，识别率仍然低于人的水平.
第二个挑战则是理解文字中语境，而不是直接的翻译它。

问题五 图片识别，视频内容识别这方面，全球的进展如何？微软最近的一个图像识别的进展，用了100层的深度神经网络，得到了一个不错的效果，是否超神的神经网络，也是一个发展方向？

徐伟:对于ImageNet这样的问题上，目前的 deep residue net 的结果已经很好了，目前，我们也看到很深的模型NLP也有很深的效果。对于视频，运算能力仍然是一个大的瓶颈。对于ImageNet只有百万级的数据，训练就要数天。
那在自然语言对话领域呢？

徐伟:深度学习还不能很好的利用已有的知识库，推理是一个难点。

问题六 聊下实用的领域，比如现在百度大力发展的无人驾驶，这块的挑战和机遇是什么，对于无人驾驶，在5年内，我们能够在大街上乘坐商用的无人驾驶汽车吗？

吴:自己很有幸帮助百度让这个想法在不久的未来成为现实。每年在中国，一天有500个人死于车祸，如果无人驾驶成为现实，那么他们都会免于灾难，这将是AI的一个伟大的应用。首先，深度学习算法这个项目已经运用的很好了，而且百度也引进了大量的人才，相信不久这个梦就会成为现实。另外，我们也在 发展不同于 普通 道路的 专门 轨道，又名为:铁轨战略。我们计划早2018年实现商用的自动驾驶服务，在2020年广泛推广和覆盖。

铁轨战略:
1.在小地方先试点，然后推广。
2.自主驾驶汽车不能做的，要给与人权利进行完成，例如理解交通警察的手势。
3.自主驾驶汽车要能容易辨别。
4.保证自主驾驶汽车的行为准确率。
5.自主驾驶汽车要理解自己应该做些什么。

问题七 机器人真的离我们还非常遥远吗？能否在近5年内有巨大的商业机会？

徐:专用功能的机器人应该会得到很快的发展，但像人那样的机器人，应该还很遥远。
吴:机器人在一些垂直细分的领域有很多令人振奋的应用.
除了无人驾驶，还有精准农业，电站自动检查，电子商务自动取件
安全机器人等等。真正的通用机器人离我们仍然有很长的距离。

问题八 你怎么看待Amazon Echo,它在美国非常流行。

吴:我认为这是一个基于语音的家庭自动化很好的开始，但这一新的产业现在仍然处于最早期。
我认为现在讨论这个设计仍然为时尚早。
不过，在将来，我们可以在家里面和所有的设备对话，
让他们理解我们并回应我们。

问题九 对于AI从业的人士，Andrew有什么职业发展建议？

吴:人工智能发展得如此迅猛，从事这一行业的我们应该不断的的学习.
我们需要做到只有持之以恒。学习是一件几乎没有短期回报，
但是长期回报巨大的事情。

Other

1.End to End的方法，对数据的依赖有多高？机器学习如何提高对数据的学习和处理能力，而不是所有的而数据必须人工标签后才能使用，如果不能解决这个问题，AI如何真正的进化？

徐:所以需要Agent在环境中能主动获取数据，像人那样。

2.深度学习应用在自然语言处理还不是很理想？比如，将深度学习应用到贴吧的帖子或者电商网站上的评论数据，效果不如人为的规则+传统的模型上，你们怎么看。

 徐:人类对话还设计了大量的知识的运用，目前深度学习还缺乏这一点
 在较少依赖语言的一些NLP问题上，比如机器翻译
 我们的实验显示深度学习目前已经可以超越传统模型了。

3.在传统的机器学习任务上，模型选择一直是个问题。现在深度学习给人的感觉是要比传统的svm,决策树，boosting等都要好，但是实际应用中真的是这样吗？像搜索排序，推荐等问题业界已经成熟运用深度学习了吗？

吴:深度学习是业界在很多重要的任务上都是效果最好的算法
包括检索、推荐。一般是这样的，如果你的训练集很小
那么最终的性能更多取决于你的设计特征的能力
深度学习同svm,boosting,决策树等传统的方法没有大的优势
但是在大数据领域，也就是你可以获得庞大的带标记的训练集
那么有监督的深度学习往往更合适。

4.请问两位老师:第一个问题，怎么用深度学习来做点击率预测CTR？其中一个难点在于输入特征维度高而且sparse，深度学习针对这类问题怎么解决？

徐:其实这是深度学习的一个优势，把高位稀疏直接作为输入
他学习到的类似Embedding一样的东西
所以，我的问题是能否将一些NLP上的方法应用到生物学问题上
在NLP中应用最广的的模型就是递归模型
他已经在解决生物学问题上有所应用了。

5.您知道有什么方面AI实际上能帮助拓展或者训练人类的智能吗？例如google的AlhpaGo，专业的棋手可以通过学习他的推理能力来自我提升。

吴:我认为在线教育是一个很好的开始，例如网易公开课
我希望随着时间的推移，在线教育将来更加灵活，更能适应需求
可能成为大家的私人导师。

6.对于医学影像处理，收集大量规模、准确的带标记的数据是非常困难的，请问我们如何提高性能？

吴:如果你并没有大的训练数据，那么短期来看
当然，迁移学习，半监督学习以及无监督学习--以及其他一些我们现在无法想象的方法
能帮助我们在小训练集上取得很好的性能。
徐:人类拥有小规模样本的学习的能力
一部分依赖于人类的建模能力，一部分依赖于人类像其他人学习
深度学习目前还缺少这些能力。

7.深度学习能进化到能够进行逻辑思考吗？或是说逻辑思考于深度学习方法在本质上是否相差甚远，所以我们需要其他的方法弥补深度学习？

徐:能否让深度学习网络具有逻辑思辨能力取决于设计者的新的模型
目前还没有好的方法去进化一个大型的深度学习模型，但在小规模的进化上有些研究。
但是我认为深度学习很有可能实现这一点。

转自机器学习研究会。