第1194期机器学习日报(2017-12-25)_新智元导读】本文是伯克利人工智能实验室(bair)博客发表的第一篇技术博文,详解了-CSDN博客

本文链接：https://blog.csdn.net/ai100_ml/article/details/78986438

机器学习日报 2017-12-25

使用深度学习构建先进推荐系统：近期33篇重要研究概述 @机器之心Synced
2017十大突破性技术之增强学习 @爱可可-爱生活
半监督学习在图像分类上的基本工作方式 @机器之心Synced
为给定任务自动生成神经网络：MIT提出RNN架构生成新方法 @机器之心Synced
多种模型(Naive Bayes， SVM， CNN， LSTM， etc)实现推文情感分析 @爱可可-爱生活

@好东西传送门出品,由@AI100运营，过往目录见http://geek.ai100.com.cn

订阅：关注微信公众号 AI100（ID：rgznai100，扫二维码），回复“机器学习日报”，加你进日报群

微信公众号：rgznai100

本期话题有：

全部15 算法9 深度学习7 视觉5 自然语言处理4 资源4 会议活动2 语音1 应用1 进化计算1

用日报搜索找到以前分享的内容： http://ml.memect.com/search/

今日焦点 (5)

机器之心Synced 网页版 2017-12-25 16:18

深度学习视觉应用自然语言处理推荐系统

【使用深度学习构建先进推荐系统：近期33篇重要研究概述】除了计算机视觉和自然语言处理，深度学习近年来在推荐系统上也取得了引人关注的结果。来自 Contata Solutions 的研究人员发表在 IJCA 上的概述论文对这些研究进行了梳理。 http://t.cn/RHyoKrJ

爱可可-爱生活 网页版 2017-12-25 18:27

算法强化学习

【2017十大突破性技术之增强学习】《Reinforcement Learning: 10 Breakthrough Technologies 2017 | MIT Technology Review》 http://t.cn/RihQAQ1 http://t.cn/RHUvxuL

机器之心Synced 网页版 2017-12-25 16:33

会议活动视觉算法 NIPS 分类会议

【半监督学习在图像分类上的基本工作方式】本文回顾了一些常见的半监督算法，随后介绍了作者在 NIPS 2017 展示的 Mean Teacher 项目。 http://t.cn/RHyNcTG

机器之心Synced 网页版 2017-12-25 16:04

深度学习算法自然语言处理机器翻译强化学习神经网络

【为给定任务自动生成神经网络：MIT提出RNN架构生成新方法】MIT 研究人员提出 RNN 架构自动生成方法使用了灵活的 DSL 搜索和强化学习，在语言建模和机器翻译等任务上表现良好。新方法摆脱依靠直觉的费力模型设计方式，同时也大大扩展了循环神经网络的可能性空间。 http://t.cn/RHy6RjN

爱可可-爱生活 网页版 2017-12-25 13:25

深度学习算法自然语言处理 Abdul Fatir Python SVM 代码情感分析

【(Python)多种模型(Naive Bayes, SVM, CNN, LSTM, etc)实现推文情感分析】’Sentiment analysis on tweets using Naive Bayes, SVM, CNN, LSTM, etc.’ by Abdul Fatir GitHub: http://t.cn/RHLE4Gc

最新动态

2017-12-25 (10)

wx:陈添水 网页版 2017-12-25 20:35

会议活动深度学习视觉算法资源 AAAI Andrew Zisserman CVPR GPU ICLR Jian Sun Kaiming He Karen Simonyan Lei Zhang Liang Lin PDF Shaoqing Ren Tianshui Chen Xiangyu Zhang Xiaonan Luo 代码会议论文神经网络

「【AAAI 2018】中大商汤等提出深度网络加速新方法，具有强大兼容能力」新智元专栏作者：陈添水【新智元导读】中山大学、香港理工大学、商汤等机构的联合研究团队提出基于类小波自编码机的深度网络加速法，不需要改动原来网络的结构，故可以兼容现有的深度神经网络，有极好的普适性。相关研究已被AAAI 2018录用为oral paper，第一作者中山大学博士生陈添水带来详细解读。论文下载： https://arxiv.org/pdf/1712.07493.pdf 深度网络不断地提升计算机视觉任务的性能，然而，性能提高往往却伴随着愈高的计算复杂度，这严重限制了深度网络在资源受限的平台（如手机，移动嵌入式设备等）的应用。因此，研究深度网络的加速吸引大量工作的关注。近日，中山大学、哈尔滨工业大学、桂林电子大学，香港理工大学以及商汤科技公司联合研究团队提出基于类小波自编码机的深度网络加速法。该方法首先通过一个可学习的类小波自编码机（Wavelet-like Auto-Encoder, WAE），把输入图片分解成两个低分辨率的小图，再以小图替代大图输入到深度网络，从而达到加速的效果。该方法优势还在于，不需要改动原来网络的结构，故可以兼容现有的深度神经网络，有极好的普适性。近年来，深度卷积神经网络在很多计算机视觉任务上取得非常大的突破，但精度的提高往往以增加模型计算复杂度为代价。例如，在ImageNet图像分类任务上， VGG16相比AlexNet提高了约8%的识别率的同时，却增加了约20倍的运算开销。因而高精度模型往往也需要极大的运算开销，如VGG16分类网络处理单张224×224的图像，需要约153.6亿次浮点数运算。大运算开销意味着对处理设备的高要求，这就严重阻碍了深度网络在计算性能较低的平台（如个人电脑或其它嵌入式设备）上的移植应用。因此，深度网络的加速成为一个具有重要的实践意义的研究课题。迄今为止，已经有一系列工作致力于深度网络加速的研究。常见的工作主要有两类，第一类通过采用张量分解对卷积运算等价优化的方法实现计算加速。概括地说，这类方法一般步骤为： 1) 通过对预训练好的网络的卷积核进行低秩分解，获得这个网络的近似表达模型；2) 通过再次训练，重新微调近似表达模型的参数。该类方法的不足在于，涉及多个步骤的实现方式，致使其难以较好地平衡模型识别精度和加速效果。另一类方法通过在深度网络中采用量化的权重和响应值的方法来减少运算量。该类方法虽然取得比较好的加速效果，但是往往导致精度的显著下降。顾此，作者根据以下两个准则设计加速方法： 1) 不改变网络原本的结构，以保证方法的普适性，使其比较容易地推广到具有不同结构的网络模型中；2) 提升网络模型速度的同时要把识别效果的损失控制在可接受的范围。表1：模型精度的提高往往以增加模型计算复杂度为代价由于输入图片的分辨率大小直接跟深度网络浮点数运算量相关，在网络训练和测试过程采用下采样后的图片替代原图作为输入是一个直接、看似可行的加速方法。如表1所示，通过简单缩放下采样的方法虽然取得了可观的加速比，但由于信息的丢失，不可避免地导致识别精度的明显下降。为了解决这个问题，作者提出了类小波自编码机（Wavelet-like Auto-Encoder, WAE）。方法的基本框架如如图1所示。 ● WAE加速模型 WAE把输入图片分解成两个低分辨率的小图，并以小图作为深度网络的输入，从而达到加速的效果。为了保证模型加速的同时识别精度不会有明显损失，作者对两个分解得到的子图进行约束，使其具有以下两个性质： 1) 两个子图分别携带输入图像的高频和低频信息，并能利用一个简单的解码过程合成原图。这样子，原图大部分的信息能够保留下来以保证加速模型的识别精度。2) 高频子图携带尽可能少的信息，因此，能够利用一个很小的网络来对其进行处理，避免引入大量的计算开销。 WAE包括一个编码层和一个解码层。编码层把输入图片分解成两个低分辨率子图，解码层基于这两个子图合成输入图像。 ● 损失函数作者定义一个变换损失函数，用于训练WAE。该损失函数包括输入图像和合成图像的重构误差以及高频子图的能量最小化损失函数。 ● 识别预测低频子图输入到一个基准识别网络（如VGG16，ResNet等）后得到特征图，并利用一个小网络将高频子图的信息与特征图相融合，得到最后的识别结果。作者在大规模物体识别的数据集ImageNet上进行实验。该数据集覆盖1,000类物体，其训练集由大约128万张图像及其类别标签组成，验证集由5万张图片及其类别标签组成。所有对比方法都在该训练集进模型训练，并在该验证集上测试模型性能。 VGG16实验结果：作者首先用VGG16-Net作为基准模型，并比较WAE加速模型（表格2中的Ours）和原始的VGG16-Net的识别性能以及在CPU和GPU的运行效率。在CPU上，加速模型以仅仅0.22%的精度损失代价取得3.13×的加速比。而在GPU上，加速比则为2.59×。其次，作者将WAE与目前最新的加速模型（表格2中的ThiNet和Taylor）进行对比。实验结果（表格2）表明，WAE可以更好的平衡模型的识别性能和加速效果。另外，为了突出WAE的优越性，作者还设计了两个比较模型（表格2中的Wavelet+CNN和Decomposition+CNN）。与WAE类似，这两个模型也是通过把原图分解为低分辨率子图的方法达到加速的目的，从表格2可以看出，WAE性能表现也优于这两个模型。 ResNet实验结果：为了证明WAE能够泛化到具有不同结构的网络，作者进一步用ResNet50作为基准网络进行实验对比。尽管ResNet50是一个更深、更紧凑的网络，WAE同样可以取得1.88×的加速比，而识别精度的下降仅有0.8%，在识别精度和加速比上都优于ThiNet。代码和模型链接 https://github.com/tianshuichen/Wavelet-like-Auto-Encoder 引用：[1] Tianshui Chen, Liang Lin, Wangmeng Zuo, Xiaonan Luo, Lei Zhang, Learning a Wavelet-like Auto-Encoder to Accelerate Deep Neural Networks, AAAI 2018.[2] Karen Simonyan, Andrew Zisserman, Very Deep Convolutional Networks for Large-Scale Image Recognition, ICLR 2015.[3] Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun, Deep Residual Learning for Image Recognition, CVPR 2016. via: http://mp.weixin.qq.com/s?__biz=MzI3MTA0MTk1MA==&mid=2652010578&idx=2&sn=6a9591c18413c7be03d36d1baf744b4c&scene=0#wechat_redirect

wx: 网页版 2017-12-25 20:35

视觉算法语音自然语言处理 GPU 产业行业动态神经网络问答系统智能汽车

「外媒盘点2017年爆发的AI芯片初创企业：有公司估值已达10亿美金」新智元编译来源：TechCrunch编译：弗格森【新智元导读】一大批初创企业正在思考如何寻找Nvidia在AI市场上潜在的漏洞。投资者也会注意到这一点。由于在所有的方向上都有着巨大需求：游戏、数据中心利润的增加和AI中的潜在应用，英伟达的股价在2017年坐上了火箭，一路飙升。英伟达也成为最引人注目的一家科技公司。虽然英伟达的股票价格和曲线图可能是2017年最吸引眼球的东西。但是，在一个AI继续成为科技界主题词的年份中，AI圈里发生的任何微小的事，都足以产生更加深层的影响。今年，一批致力于开发各种硬件，以支持未来基于AI的设备的创业公司获得了大量的投资。其中一些创业公司远远没有接近大规模量产（或尚未有产品出现），但这些似乎没有成为融资的阻碍。优化推理和训练机器是图像和语音识别等应用的两个关键部分，初创公司试图找到方法来改善这些过程，使其更快，更节能，而且整体上更适合下一代人工智能驱动的设备。与我们已经习惯的、用CPU来实现的传统计算架构不同，GPU已经成为处理AI处理所需的快速计算的芯片之一。而这些创业公司认为他们可以比GPU做得更好。在关注创业公司之前，让我们快速回顾一下前面提到的Nvidia股价表。这能让你了解这里发生的事情究竟有多大。在进入2018年前，Nvidia的股价上涨了近80％：图片来源：TechCrunch 所以，很自然，我们可能会看到一大批初创企业正在思考如何寻找Nvidia在AI市场上潜在的漏洞。投资者也会注意到这一点。 2016年12月，Crebras Systems从Benchmark Capital获得融资，当时筹集了大约2500万美元。当时看来，AI芯片产业似乎还不像今天那样显要。尽管如此，随着Nvidia在GPU市场上的主导地位不断上升，暗示这将是一个蓬勃发展的领域。然后《福布斯》在今年8月份报道说，Crebras Systems估值已经近9亿美元。显然，这里有一些值得去挖掘的东西。 Graphcore也在今年造出了一些声势。在7月份由Atomico牵头的3000万美元投资之后不久，该公司今年11月宣布了由红杉资本（Sequoia Capital）领投的新一轮5000万美元融资。 Graphcore和Cerebras Systems一样，在市场上还没有像Nvidia一样提供产品。虽然硬件创业公司面临着比软件建设更多的挑战，但是这家初创企业一年能够筹集到8000万美元（也是够疯狂的）。中国的相关人工智能创业公司也融到了大量的资金：阿里巴巴将资金投入了一家名为寒武纪的公司，据称该公司的估值为10亿美元。英特尔领投的地平线该轮融资1亿美金; 本月初，一家名为ThinkForce的创业公司筹集了6800万美元。这么看来，前谷歌工程师Groq的新公司似乎不值得一提，他们从Social + Capital那里筹集了大约1000万美元的资金，这与上面列出的一些创业公司相比似乎很小。此外，最近，一家芯片制造商Mythic筹集了930万美元的资金。所以我们可以看到，不仅有一两家，至少有七家初创公司在这个领域摩拳擦掌，欲欲跃试，其中许多已经筹集了数千万美元，至少有一家创业公司的估值在9亿美元左右。他们都是硬件初创公司，下一代硬件可能需要更多的融资。这仍然是一个不容忽视的领域。初创公司之外，世界上最大的一些公司也在寻求创建自己的系统。谷歌今年早些时候在五月份宣布推出下一代TPU，旨在推动推理和机器训练。苹果为其下一代iPhone设计了自己的GPU。二者都将大大调整硬件以满足其特定需求，例如Google云应用程序或Siri。英特尔还表示，将在2017年底前推出新的Nervana 神经网络处理器。英特尔在去年8月份以3.50亿美元的价格买下了Nervana。对于初创企业和巨头来说，这些其实代表了巨大的机会，他们都在寻找对GPU的不同阐释。但是，要想将已经把开发者锁定在自己的平台（Cuda）上的英伟达拉下王座，可能会是一个更加困难的挑战。这对于希望把自己的硬件投放到市场，进而汇聚开发者的初创企业来说，更是困难重重。当你与硅谷的投资者交谈时，你仍然会发现一些怀疑论者。例如，当在亚马逊服务器上的旧芯片对于训练来说已经很好的时候，为什么各个公司还会与寻求更快的芯片用于训练？尽管如此，流入这个领域的钱仍然是海量的。这是钱来自那些对Uber（尽管那里有相当大的动荡）和WhatsApp投入了很大资金的公司。 Nvidia在这一领域仍然是一个主要的领导者，随着自动驾驶汽车等设备越来越接近现实，Nvidia将继续寻求占据主导地位。但是随着我们进入2018年，我们可能会开始对这些初创公司是否有机会取代Nvidia有更好的了解。创造速度更快，功耗更低的芯片，让其可以进入物联网领域，并通过更有效的推断真正实现设备的功能，这是一个机会。在训练模型，比如告诉你的汽车松鼠长什么样的时候，让这些服务器更快，更高效，也可能是真正的巨大机会。 via: http://mp.weixin.qq.com/s?__biz=MzI3MTA0MTk1MA==&mid=2652010578&idx=5&sn=27cac1c15875e1163d81f26a35a1dffd&scene=0#wechat_redirect

机器之心Synced 网页版 2017-12-25 17:04

资源课程数据科学吴恩达

【机器学习系统性能不尽人意？吴恩达教你如何选择改进策略】搭建机器学习系统，性能却不尽如人意？Kritika Jalan 近日在 towardsdatascience 上发表文章，总结她从吴恩达的 Coursera 课程《Structuring Machine Learning Projects》中学到的相关经验。机器之心对此进行了编译。 http://t.cn/RHyYDsh

机器之心Synced 网页版 2017-12-25 16:45

经验总结算法资源博客课程强化学习

【将逆向课程生成用于强化学习：伯克利新研究让智能体掌握全新任务】近日，伯克利人工智能研究实验室（BAIR）博客介绍了一种用于强化学习智能体的逆向课程生成方法。该方法可以帮助智能体实现更有效的学习，乃至完成其它强化学习智能体无法实现的任务。 http://t.cn/RHyOqHE

机器之心Synced 网页版 2017-12-25 15:53

进化计算深度学习算法强化学习神经网络

【利用遗传算法优化神经网络：Uber提出深度学习训练新方式】Uber 近日发布的五篇论文表明，神经进化（neuroevolution）这种利用遗传算法的神经网络优化策略，也是训练深度神经网络解决强化学习（RL）问题的有效方法。 http://t.cn/RHyx3kG

爱可可-爱生活 网页版 2017-12-25 13:10

深度学习代码

【2017 ViZDoom AI打DOOM挑战赛优胜方案(PyTorch/ViZDoom)】’Arnold – DOOM Agent, winner of the 2017 edition of the ViZDoom AI Competition’ by Guillaume Lample GitHub: https:\//github.com\/glample/Arnold

爱可可-爱生活 网页版 2017-12-25 12:43

视觉数据科学

【用目标检测实现智能零售结账体验】《Using Object detection for a Smarter Retail Checkout Experience》by Priya Dwivedi http://t.cn/RHLO6wx pdf: http://t.cn/RHLO6wM

IT程序猿 网页版 2017-12-25 12:03

【机器学习实践指南】在今天的文章中，我会列出 7 个步骤（和 50 多个资源）帮助你开启这个令人兴奋的计算机科学领域的大门，并逐渐成为一个机器学习高手。详见 http://t.cn/ROvsZ28（来自：Linux中国）

tobe-陈迪豪 网页版 2017-12-25 11:42

深度学习算法资源 PDF 集成学习

看Facebook的ML infrastructure paper http://t.cn/RHLIrEI 有几点首先是定义ML Flow很有价值，第二是集成Predictor服务方向是对的，第三DNN model尽可能做成单机可加载不要折腾分布式模型预测，第四是50M以太网网卡够用，第五是不应该限制PyTorch或者TensorFlow框架、NN或GBDT模型等