第1121期AI100_机器学习日报(2017-10-13)_论文笔记 interpretable convolutional neural networks w-CSDN博客

本文链接：https://blog.csdn.net/ai100_ml/article/details/78281664

AI100_机器学习日报 2017-10-13

人工智能硬件设备中的语音前处理技术研究 @wx:让创新获得认可
从2017年顶会论文看 Attention Model @wx:让创新获得认可
访谈：深度学习三巨头聚首 @wx:
Luminoth：基于TensorFlow的开源计算机视觉工具包 @ChatbotsChina
RNN/LSTM相关资料汇集 @爱可可-爱生活

@好东西传送门出品,由@AI100运营，过往目录见http://geek.ai100.com.cn

订阅：关注微信公众号 AI100（ID：rgznai100，扫二维码），回复“机器学习日报”，加你进日报群

微信公众号：rgznai100

本期话题有：

全部21 深度学习10 算法8 视觉6 自然语言处理5 资源5 会议活动4 经验总结4 应用3 语音3

用日报搜索找到以前分享的内容： http://ml.memect.com/search/

今日焦点 (5)

wx:让创新获得认可 网页版 2017-10-13 19:55

应用语音资源自然语言处理 PDF 邓滨行业动态机器人

「回顾 | 小鱼在家首席音频科学家邓滨：人工智能硬件设备中的语音前处理技术研究」本文为10月12日晚，小鱼在家首席音频科学家邓滨在将门技术社群，分享“人工智能硬件设备中的语音前处理技术研究”的内容回顾，主要探讨了语音前处理技术在人工智能硬件设备上所能发挥的作用，以及其不可替代的重要意义。获取完整PDF+视频回顾>>关注“将门创投”(thejiangmen)微信公众号，回复“171013”获取下载链接。 ……获取完整PDF+视频回顾>>关注“将门创投”(thejiangmen)微信公众号，回复“171013”获取下载链接。 -END-现已涵盖CV、机器人、NLP、ML、IoT等多个当下火热的技术话题。我们每周邀请来自产学研的优秀技术人进行线上分享，目前群里已汇聚数千位上述领域的技术从业者。入群方式>>关注“将门创投”（id:thejiangmen）微信公众号，在后台回复关键词“技术社群”，提交入群申请表。通过审核后，我们会在第一时间发出邀请。将门创投让创新获得认可！微信：thejiangmenservice @thejiangmen.com via: http://mp.weixin.qq.com/s?__biz=MzAxMzc2NDAxOQ==&mid=2650364251&idx=2&sn=b1da68a5deeff8e575767827d509e388&scene=0#wechat_redirect

wx:让创新获得认可 网页版 2017-10-13 19:55

会议活动深度学习视觉算法应用语音知识工程自然语言处理 KDD RecSys SIGIR 黄瑾会议机器翻译机器人矩阵神经网络特征工程推荐系统问答系统信息检索医疗预测知识库

「从2017年顶会论文看 Attention Model」 2017年KDD，Sigir以及Recsys会议被接收的论文早已公示，本文对这些会议中Attention Model相关的10篇论文进行了整理，主要包括Attention Model的变型与应用。其中文中部分内容不是原创，有争议请联系作者。本文收录于RUC AI Box专栏 https://zhuanlan.zhihu.com/RucAIBox作者：黄瑾，2016级研究生，目前研究方向为深度学习、推荐系统，来自中国人民大学大数据管理与分析方法研究北京市重点实验室论文列表： KDD-2017《Dipole: Diagnosis Prediction in Healthcare via Attention-based Bidirectional Recurrent Neural Networks》《A Context-aware Attention Network for Interactive Interactive Question Answering》《Dynamic Attention Deep Model for Article Recommendation by Learning Human Editors’ Demonstration》《GRAM: Graph-based Attention Model For Healthcare Representation Learning》《Learning to Generate Rock Descriptions from Multivariate Well Logs with Hierarchical Attention》 SIGIR-2017《Enhancing Recurrent Neural Networks with Positional Attention for Question Answering》《Attentive Collaborative Filtering: Multimedia Recommendation with Item- and Component-Level Attention》《Video Question Answering via Attribute-Augmented Attention Network Learning》《Leveraging Contextual Sentence Relations for Extractive Summarization Using a Neural Attention Model》 Recsys-2017《Interpretable Convolutional Neural Networks with Dual Local and Global Attention for Review Rating Prediction》写作动机 Attention Model在Image Caption、Machine Translation、Speech Recognition等领域上有着不错的结果。那么什么是Attention Model呢？举个例子，给下面这张图片加字幕（Image Caption）：一只黄色的小猫带着一个鹿角帽子趴在沙发上。可以发现在翻译的过程中我们的注意力由小猫到鹿角帽子再到沙发（小猫→鹿角帽子→沙发）。其实在很多和时序有关的事情上，人类的注意力都不是一成不变的，随着事情（时间）发展，我们的注意力不断改变。因此，从理论上来讲在使用深度学习来训练模型时，引入注意力机制（Attention Model）是很有帮助的。本文根据2017年三个顶会的10篇关于Attention Model的文章，给大家介绍一下Attention Model的发展和应用。这篇文章的预备知识是Decoder-Encoder模型。本文主要做一个介绍，基本不会有公式推导，旨在让大家对Attention Model的变型和应用有一个大概的印象。单层Attention Model 2014年发表的文章《Neural Machine Translation by Jointly Learning to Align and Translate》使用了单层Attention Model解决机器翻译中不同长度的源语言对齐问题。使用Attention Model 的基本思想是目标语言端的词往往只与源语言端部分词相关。而这个相关度通常用概率的形式表示。这个过程基本为：首先计算当前上下文的环境与每个源语言词语的相关度（一个得分），然后使用softmax公式，将这个相关度转化为概率的形式，最后用得到的概率乘以对应源语言端词的隐含表示作为该词对预测目标的贡献，将所有源语言端的词贡献加起来作为预测下一个词的部分输入。其中计算上下文环境与源语言词语的相关得分，是根据语言特性设计的一个对齐模型（Alignment Model），感兴趣的朋友可以深入了解一下。通常情况下，单层Attention Model的不同之处主要在于相关分数计算方式的不同，接下来我们介绍三种通用的计算方式。同时在后文中，不再重复叙述Attention Model中根据相关分数计算输出向量的过程。论文《Dipole: Diagnosis Prediction in Healthcare via Attention-based Bidirectional Recurrent Neural Networks》，介绍了单个Attention Model在医疗诊断预测中的应用。这个模型的输入是用户前 t 次的医疗代码（每次的医疗代码用one-hot的形式表示），输出是用户下一时刻的医疗诊断类型。使用Attention Model的思想是：用户下一时刻被诊断的疾病类型可能更与前面某一次或某几次的医疗诊断相关。论文模型框架如下。本篇论文和前一篇论文Attention模型的差别主要在于每个源输入单位与目标输出的相关分数计算方式。本文介绍了三种通用的得分计算公式（见下图右上角）：主要有和位置相关的计算方式（location-based）、与指定目标相关并通过点积计算得到的计算方式（General）以及与指定目标相关并通过拼接计算得到的计算方式（Concatenation-based）。论文《Dynamic Attention Deep Model for Article Recommendation by Learning Human Editors’ Demonstration》介绍了单个Attention Model在新闻推荐/筛选领域的应用。该模型的输入是一个文章的文本和种类信息，输出是0/1，表示输入的新闻是否被选中（二分类问题）。下图展示的是该模型的Attention Model部分，未展示的部分是处理输入数据的过程，该过程是通过CNN等模型将文本和种类特征处理成固定维度的隐含向量表示。论文的整体思路为：根据新闻的文本信息和种类信息，考虑新闻的时效性和时间特征。它主要是基于两个假设：第一，用户在不同的日子可能会有不同的喜好，比如用户在周一更喜欢金融类的新闻，而在周五可能更喜欢娱乐相关的论文；第二，不同类型的新闻时效性也不同，金融相关的新闻时效性短，而娱乐类的新闻时效性长。该论文中Attention Model的作用是，在第 t 时刻，给定新闻的文本和种类信息，不仅仅考虑第 t 时刻的模型（假设考虑一周中不同日子的影响，则有7个模型），我们也考虑该新闻在其他时刻的影响，然后根据新闻在各个时刻下的影响度随着时间的变化，综合考虑该新闻被选择的概率。但是这个模型人工干涉的部分太多，随着假设的增加，模型会越来越复杂。论文《Enhancing Recurrent Neural Networks with Positional Attention for Question Answering》将Attention Model变形，然后应用于问答系统（Question Answer）。该模型输入为“问题”句子中所有词语的词向量，输出“回答”句子中所有词语的词向量。而该论文使用Attention Model的假设为：如果“问题”句子中某个单词出现在“回答”句子中，则在“回答”句子中该单词周围的词语影响度更大，且该影响度随距离变化呈高斯分布。通过拟合高斯分布得到所有输入词的影响概率，然后将影响概率作为权重，和输入向量加权求和得到基于位置的影响向量，最后将得到的影响向量作为指定向量，计算所有输入单词的隐含向量与该指定向量的相关度，通过Attention Model计算得到的向量作为输入帮助完成预测。这篇论文中，相关度的计算并没有使用上面提到的三种方法，而是根据问题的实际情况以及模型的前提假设进行变型。论文《Video Question Answering via Attribute-Augmented Attention Network Learning》使用基于属性扩展的Attention Model来解决以给定视频作为背景材料的问题。本文的基本思路是根据问题发现哪一部分视频和这个问题相关，从而能生成更加相关答案。本文的输入包括，多帧视频信息（视频每一帧通过CNN等模型得到固定维度的隐含向量表示）以及处理问题（文本信息）得到隐含向量表示，输出为回答中的多个单词。其实这篇论文只简单地将每一帧视频处理成一个固定向量，且multi-modal部分的求和取平均有些过于简单。如果能更精确地分析每一帧画面相关的重点信息，结果应该会更加优化。而接下来，我们要介绍多注意力机制（Hierarchical Attention 以及 Dual Attention）是如何更加精确地完成任务。多注意力机制Hierarchical Attention 以及 Dual Attention 论文《A Context-aware Attention Network for Interactive Interactive Question Answering》介绍了如何用Hierarchical Attention Model完成QA任务。该任务的输入是：给定文档（多个句子，每个句子由多个单词组成）的所有词向量，以及给定问题的隐含向量表示；输出是：回答句子中的一个个单词。本文Attention Model部分的基本思路为：首先在给定的文档集中的每一个句子中，计算该句子中每一个单词和给定问题的相关度，通过这一层的Attention Model计算得到的向量作为每个句子的隐含向量表示；然后在给定的文档集中，计算每一个句子和给定问题的相关度，然后利用第二层Attention Model计算得到的向量作为Context vector，用以生成回答。论文《Leveraging Contextual Sentence Relations for Extractive Summarization Using a Neural Attention Model》介绍了如何使用Hierarchical Attention Model完成文章的摘要提取。摘要提取这类任务的输入是一个文档中所有词向量，输出是0/1，表示每一个句子是否作为摘要。摘要提取的一个关键是判断哪些词语或者哪些句子更具有代表性，更能代表其他词语或者句子，而通常的做法就是对于句子 t ，计算 [1,t-1] 以及 [t+1,] 与 t 的cosine相似度，作为判断 t 是否作为摘要的依据。首先，对每一个词计算其对该句子的贡献率（影响概率），通过单词级别（word-level）的Attention Model计算生成的向量作为句子的隐含向量；而在句子级别计算每个句子和其前面 t-1 个句子的相似度，利用第二层Attention生成的上文相关向量，同时计算每个句子和其后面所有句子的相似度，利用第二层Attention生成的下文相关向量；最后将上文下文相关向量作为最终预测的一部分输入。上述文章中的Attention Model与前一篇论文类似，都是用了单词级别（word-level）和句子级别（sentence-level）的Hierarchical Attention Model。当然，这种Hierarchical Attention Model不仅可以使用在NLP领域，它在很多领域都有不错的发展。接下来这篇文章就介绍了Hierarchical Attention Model在医疗领域的应用。论文《Learning to Generate Rock Descriptions from Multivariate Well Logs with Hierarchical Attention》介绍了如何利用Hierarchical Attention Model 帮助生成岩石描述。该模型的输入是钻井得到的多类数据（每类数据的数值随时间或者其他维度不断变化）以及词典集中所有单词的词向量，输出为岩石描述的文本。它第一层Attention Model是为了判断，在预测下一个描述词时，每类数据中具体哪个数值与该描述词相关；而第二层Attention Model的意义在于判断在预测下一个描述词时，哪一类数据与该描述词相关。前三篇论文都是关于Hierarchical Attention Model，接下来介绍一篇关于Dual Attention的论文。论文《Interpretable Convolutional Neural Networks with Dual Local and Global Attention for Review Rating Prediction》介绍了如果将Dual Attention Model用于推荐系统。这个模型有两个输入：User Network的输入是该用户给出的所有评论；Item Network的输入是该产品收到的所有评论。输出是该用户对给定产品的评分。本文有一个假设：不同用户对喜爱或者厌恶情感的表达是不同的，比如一个用户喜欢打高分，不喜欢的产品他可能打4分，但是另一个用户喜欢打低分，他喜欢的产品也仅仅给4分，因此要根据用户真正的喜好来推荐，而不能仅仅把用户的评分作为依据。本文的Dual Attention Model，是一个平行的模型，不同于前三篇文章第一层Attention Model的输出是第二层Attention Model的输入。这个Dual Attention 由一个Local-Attention（L-Attn）和一个Global-Attention（G-Attn）组成。L-Attn旨在在滑动窗口中发掘出一些有意义的关键词（可以根据这些关键词发掘用户的喜好，比如“喜欢”、“裙子”）；而G-Attn旨在抓住用户的整体情感表达情况（假设中提到的）。同理，在Item Network中也使用L-和G-Attn用来抓住一些和该产品有关的关键词以及其他用户对这个产品的一个整体喜好情况。然后将Dual Attention Model得到的输出拼接起来作为完成最终任务的输入。基于知识图谱或者领域知识的注意力机制Knowledge-base Attention 论文《Attentive Collaborative Filtering: Multimedia Recommendation with Item- and Component-Level Attention》介绍了基于领域知识的注意力机制如何用于推荐系统的。其中的Attention Model框架和上一节中介绍的Hierarchical Attention Model十分类似，唯一的不同就是它的输入使用了其他领域信息。不同于传统的CF推荐模型，本文有如下假设：两个用户同时喜欢一件衣服，有人因为它的颜色，有人因为它的裁剪，在实际推荐中，精准分析将提升推荐准确性。因此某一个产品的隐含向量表示不再是固定不变的了，它会根据用户的喜好有不同的表现。模型的输入是用户之前购买的所有产品以及每个产品的多个特征表示，输出是用户喜欢该产品的可能性。首先，对于每一个输入的产品，计算用户特征向量和该产品每一个特征的相关度，通过第一层Attention Model计算得到的向量作为该产品的隐含表示；然后计算用户特征向量和所有输入产品的相关度，通过第二层Attention Model计算得到的向量作为用户的喜好特征，从而完成最终的推荐任务。当我们要引入知识图谱或者领域知识时，并不代表模型会十分复杂，也不是说Attention的层数越高，模型越好。论文《GRAM: Graph-based Attention Model For Healthcare Representation Learning》就用了一个简单漂亮的模型完成了预测任务。和小节2中提到的Dipole模型一样，这是一个医疗诊断预测问题。这个模型的输入是用户前 t 次的医疗代码（每次的医疗代码用one-hot的形式表示），输出是用户下一时刻的医疗诊断类型。但是有很多医疗代码数据稀疏甚至缺失，导致该医疗代码的隐含向量表示不能很好地完成预测任务。本文通过引入知识图谱信息一定程度地改善了这种情况。首先引入外部知识图谱，这个知识图谱是一个有向无环图，每个节点的父节点表示了一种相关但更宽泛的定义/概念。当医疗代码 c_i 信息稀少或者缺失时，可以考虑使用更加宽泛的定义。而Attention Model就是用来判断 c_i,c_g,c_c,c_a (从叶子节点到根结点上所有节点)对预测任务的贡献度。总结上文介绍了，单层Attention Model，多层Attention Model（包括 Hierarchical Attention和Dual Attention）以及引入知识图谱或者领域信息的Attention Model的一些变型和应用。可以发现，对于某一个问题或者时序任务，如果能针对任务提出合理的假设，Attention Model会有很多种变型和应用的。 -END-现已涵盖CV、机器人、NLP、ML、IoT等多个当下火热的技术话题。我们每周邀请来自产学研的优秀技术人进行线上分享，目前群里已汇聚数千位上述领域的技术从业者。入群方式>>关注“将门创投”（id:thejiangmen）微信公众号，在后台回复关键词“技术社群”，提交入群申请表。通过审核后，我们会在第一时间发出邀请。将门创投让创新获得认可！微信：thejiangmenservice @thejiangmen.com via: http://mp.weixin.qq.com/s?__biz=MzAxMzc2NDAxOQ==&mid=2650364251&idx=1&sn=b93e5cfe92ef5728ac6484f36b09c3e2&scene=0#wechat_redirect

wx: 网页版 2017-10-13 19:43

公告板会议活动经验总结深度学习视觉算法语音资源自然语言处理 Geoffrey Hinton Joelle Pineau Yann Lecun Yoshua Bengio 博客产业胡祥杰会议机器翻译强化学习神经网络书籍统计智能汽车

「【深度学习三巨头聚首】Hinton坚持10年内机器会掌握常识，Lecun说20年」【AI WORLD 2017世界人工智能大会倒计时 26天】新智元编译来源；re-work.co编译：闻菲，胡祥杰【新智元导读】在昨天的蒙特利尔深度学习峰会上，“深度学习三巨头”Hinton、LeCun、Bengio齐聚首，展望深度学习和AI的未来——深度学习会一直存在吗？下一大挑战是什么？解决了什么问题，三大神会退休？他们之间在学术上还有什么分歧？例如：Hinton有很多论文被拒；LeCun不喜欢概率，把Hinton叫做“概率警察”；最年轻的Bengio已经赶上两位前辈、此外，三大神还讲述了他们相遇的故事，频频展露幽默一面，赶紧来看—— 昨天，在RE•WORK蒙特利尔深度学习峰会上，“AI三巨头”Geoffrey Hinton、Yoshua Bengio和Yann LeCun有史以来头一遭，不仅出现在同一个活动中，而且聚集在同一个panel里，分享了他们对前沿研究进展的展望，并讨论了加拿大人工智能和深度学习生态系统的格局。来自麦吉尔大学的Joelle Pineau主持了这场讨论，她以十分有趣的方式开场，请三大神介绍站在自己旁边的人，整个礼堂立马充满了笑声。 Yoshua Bengio率先开了头，他说：“这是Yann，我在读硕（Master）期间遇到了他，当时他正跟着Geoff一起做博士后，后来Yann请我去和他一起工作，开始研究卷积神经网络，到今天这仍然是个热门课题！” 接着，Yann LeCun介绍Geoffrey Hinton，LeCun说：“我也来回顾一下历史，我还是本科生的时候研究了神经网络，发现在上世纪70年代这方面没有研究发表。我看到一篇题为《优化感知推理》（Optimal Perceptual Inference）的文章，Geoff是三位作者之一。我读了这篇论文，知道我必须见见Geoffery。” 最后轮到Hinton，他开玩笑说，他或许是Bengio论文的导师（supervisor），但他实际上已经不记得了。Hinton继续说：“那是一篇非常好的论文，将神经网络用于语音识别。Yoshua和我在加拿大做得很好，因为加拿大支持基础研究。如今领域发展得非常快，我现在已经跟不上Yoshua的节奏了！每个星期都有好几篇arXiv论文出来，Yoshua在attention方面的工作令我印象非常深刻。我感觉Yoshua年纪是最小的，他还有一些路要走，但不幸的是我认为他已经追上我们了！现在Yoshua在他的领域里已经做出了跟Yann在CNN上同样大的影响力。” 以下是现场讨论实录： Bengio：在那时，你可以全身心投入研究，一点干扰也没有。当时的环境跟现在完全不同。当我们几个遇到彼此的时候，情况跟现在还是有一些类似的，但神经网络还是边缘研究，才开始了5到10年的样子。上世纪90年代初，神经网络火过一阵子，企业也是真的大力投入，有过一些炒作，所以跟现在还是有些类似的。但是，现在神经网络是真的能用了。 LeCun：我认为神经网络在当那时候也能用啊！但是，60年代研究感知的人认为神经网络不是一个有价值的方向，所以他们开始各种改名字改叫法，按他们的方式去做，造成了巨大的实际影响。 Hinton：他们都太年轻啦，根据不记得这回事！ LeCun：现在的AI教科书里，还有很多那时候的东西，上世纪90年代的神经网络，早就过时了，但现在还被当做参考，它们是有用，但是它们不是通往AI的路径。很多我们今天使用的技术，也将以同样的方式广为传播，也将以同样的方式传给下一代、下下一代，除非我们找到让这些技术能够继续有用、往前发展的下一步，否则现在的很多技术也将会死亡。 Hinton：同意Yann的观点！ Hinton：比h-index少一个引用数的那篇吧（笑）。我在2008/9年写了一篇文章，使用矩阵来对关系（relationship）和概念（concept）建模。给定3个东西，你要根据前两个推断出第3个。我在2000年初做了很多工作，基本上是早期的嵌入。有人说我该放弃这项工作，因为整篇论文中只有一个非自我引用！我的想法是，不是用向量表示对象，矩阵表示概念，而是用矩阵来表示这两者，这样就能表示关系的关系。我们教它 3 + 2 等于 5，然后教它 2 和 + 在一起是 +2，系统产生的输出从来没有见过“+”这个概念，所以它必须学习自己。这篇论文得了个 2、2、3的评分（满分10分）。后来，我把论文发给认知科学那边，他们也不喜欢，说：“如果我对论文的理解是正确的，那这篇论文真是太棒了，但我认为我们的读者不会对这个感兴趣！” Bengio：我都没有提交我的论文，因为我知道肯定会被拒！那篇论文的想法是，为了学习我们需要其他人的指导，这里就不多说了。 Bengio：这是坑吗？我不跳哦！ Hinton：政治！但我们对美国的政治看法都相同。 LeCun：相比问题本身，或许我们对解决问题的方法有不同的意见。有段时间，Geoff用概率…… Bengio：凡是有关概率的事情，Yann一点都不想知道，他把Geoff叫做概率警察。 Bengio：我们绝对需要在现有基础上发展新的想法。这些想法将受到我们现有技术和概念的启发，并将成为创造新东西的基础。 LeCun：这些概念将被参数化并且继续发展——它们不会消失，但光是现在这样显然是不够的，所以我们需要考虑新的架构——很多人都在积极探索动态架构（dynamic architecture），自然语言处理也有很多有趣的事情发生。我们还需要更多的训练超大规模学习系统的方法——这可能不是最终的答案，还可能有旧的想法再次火起来。接下来还会出现这样一些方法，那就是将深度学习和推理这样更离散的东西连接起来。 Bengio：我们需要找到方法，让ML和DL重新拿起目标函数，并用新的方法来训练和教育这些目标函数，这对AI来说是至关重要的。 Hinton：Yann和Yoshua还认为——最大的困难并不是找到一个无监督学习的目标函数。我在92年发表了一篇将空间一致性作为目标函数的论文。有了这个以后，我们能够学习更多的层，了解更多的东西。我们还能训练自编码器。 LeCun：在Facebook，有一个团队是做星际争霸的。这个游戏比围棋更难，因为它使用战略，有多个智能体，各种技术——你不知道你的同伴在做什么，在韩国星际是职业竞技的一种，非常具有挑战性。现在有一些玩星际的bot，但都不在人类的水平。Facebook和DeepMind的团队正在使用机器学习玩星际，我认为我们会在这方面看到一些进展。但是，下一个真正改变人类生活，并且我们可以解决的问题，是如何训练一辆汽车自动驾驶——有没有办法做到完全自动并且安全？ Bengio：我实际上最近也在做这样一个项目。一个AI游戏，里面有一个人和一个AI婴儿。人需要使用自然语言来教育这个AI，告诉它什么是什么，总之做所有一般父母都会做的事情。这些都在虚拟环境中发生。这个游戏是为了让人用最好、最快捷的方式来训练AI，而不必担心其他太多问题。这个项目很棒，因为是游戏，对于参与的人而言很有趣，也有助于收集大量的数据，让我们了解如何使用强化学习来确定自然语言和环境之间的相关性。 Bengio：有一些真正困难的问题还有待解决，这很有趣！我想知道机器如何发现高表征（High Representations）来解释世界。关于解释世界，现在有一些通用的假设，它们短期内在统计学意义上是有效的，这非常简单，但是要真正解决起来就没那么简单了。 Hinton：对我来说，会产生影响的一个特殊的事情是自然语言处理和语言理解。有一些句子，像“奖杯放不到手提箱里，因为它太小了”或者“奖杯放不到手提箱里，因为它太大了”，在第一个是“它”指手提箱（太小），而后面的“它”指奖杯（太大了）。因为语言结构的原因，我们能推断出这一点，但如果你把这些句子翻译成法语，还有其他一些因素要考虑：机器是否正确区分和使用了阳性和阴性词？所以它必须理解背景。如果一台机器可以成功地完成这些翻译，那么就说明它们真正了解发生了什么。但是我认为，这需要比现在的机器翻译大约大1000倍的性能才能正常工作。如果我们能够做到这一点，机器会掌握所有的常识。它会说服那些固守传统的人，AI的成功并不是偶然，而是机器真的了解发生了什么。我认为可能在10年内可以做到这一点。 Bengio：我想我们应该让机器学习解释什么是睡觉和为什么要睡觉。我觉得很奇怪，人们不会质疑为什么我们要把生命的三分之一以上的时间花在睡觉上。但如果你剥夺了人们睡觉的权利，他们会发疯的！我们喜欢8个小时的睡眠，但是我们却不知道为什么。我强烈地认为，睡觉会这一活动会告诉我们，究竟人们是如何进行学习的。 LeCun：我们如何让机器获得常识？无监督学习？代表空间的目标函数？可能需要10或20年，我们不知道。 Hinton：又或者只需要一周的时间。 Bengio：对我来说，是对AI 和我们所开发的产品的错误使用。例如，我对在智能武器装备中使用AI特别敏感，这可能是非常危险的。我认为政府应该签署条约。此外，以操纵AI的方式进行广告宣传，对民主来说可能是真正危险的。最后，AI落在错误的人手中的问题真的很麻烦。 LeCun：如果被心怀恶意的用户使用，这可能是非常糟糕的。事实上，机器学习方法确实可能会被用在一些糟糕的场景中，造成损害。例如，当你使用有偏见的数据训练机器时，机器会有偏见，当你训练系统时，会复制训练它的人的行为。这是技术问题，也是道德问题——我们如何消除偏见？AI在公众中的形象可能会因此变得黯淡，所以我们必须积极主动做出改变。我正在与“The Partnership in AI”合作，我们一起提出了部署测试的指导纲要，以保证安全。 Hinton：如果你有一个强烈的直觉，认为自己有一个很好的主意，但其他人都说“不”。那么注意，它不是一个坏的想法，它实际上是一个原创的想法。然后想想，你应该好好研究你的这个“好主意”吗？如果你有良好的直觉，那么就在你的想法上开始工作。如果你没有良好的直觉，你做什么都不重要！ Bengio：我的建议是，听Hinton的。 LeCun：我们三个人非常直观，我们通过直觉提出了概念和想法，虽然有时其他人告诉我们这是不可行的。所以一些最有趣的想法不是最复杂的，但是要实现它的方式可能是。令人惊讶的是，人们需要这么长时间才能认识到一些事情是好的想法！原文链接： https://re-work.co/blog/interview-yoshua-bengio-yann-lecun-geoffrey-hinton 【AI WORLD 2017世界人工智能大会倒计时 26天】点击图片查看嘉宾与日程。大会门票正在火热销售中。参加大会，请关注新智元微信公众号或访问活动行页面： http://www.huodongxing.com/event/2405852054900?td=4231978320026了解更多【扫一扫或点击阅读原文抢购大会门票】AI WORLD 2017 世界人工智能大会购票二维码： via: http://mp.weixin.qq.com/s?__biz=MzI3MTA0MTk1MA==&mid=2652006152&idx=1&sn=bb2e939a8a43086f14d3f50611da0130&scene=0#wechat_redirect

ChatbotsChina 网页版 2017-10-13 14:19

视觉

资源 | Luminoth：基于TensorFlow的开源计算机视觉工具包 @机器之心Synced http://t.cn/RONAcac

爱可可-爱生活 网页版 2017-10-13 05:58

经验总结深度学习算法 Paul Renvoise 博客神经网络

【RNN/LSTM相关资料汇集】《Machine Learning Spotlight I: Investigating Recurrent Neural Networks | Recast.AI Blog》by Paul Renvoisé http://t.cn/RO9OHg0