一文告诉你,NIPS 2017有多火爆 | 附PPT、视频、代码大总结


原文来源MediumGitHub

作者:TarasSereda

「雷克世界」编译:嗯~阿童木呀、KABUDA


今年的NIPS是一场盛大的、极富教育意义和探索精神的、魅力十足且人数众多的会议。


第一步,登记排队

 

量子计算机


Tutorials

深度学习:实践与趋势


我参加了“趋势”部分,我所看到的让我感到好笑,首先,我认为这个tutorial不适用于初学者(这是一种抽象说法)。可以说,它是一个结构良好,更加适用于深度学习从业者的产品导向材料。主要趋势是:域调整/适应;基于图形的神经网络、程序归纳等。从I/O、模型架构和损失的角度分析了每种趋势。Orilo Vinyals还介绍了主要的Mete方法:



视频: https://www.youtube.com/watch?v=YJnddoa8sHk

 

使用概率程序、程序归纳和深度学习的工程与可逆工程智能

 

概率编程是非常出色的,但或许出于其复杂性的原因,它的应用并不广泛。它为你提供了一种以概率方式描述问题的途径,这是现实世界的自然表现。你可以在参数、模型输入和输出中编码不确定性,并获得一组程序执行的预估痕迹。



这个领域正在快速发展,并且可为你提供大量工具。我认为使用概率编程领域的想法可以帮助解决在追踪对抗样本方面的问题。



未来的研究方向包括:

与深度学习的融合

 

为蒙特卡洛推理建立快速的运行时间(“BLAS”for Monte Carlo)

 

助力未来100年——受邀嘉宾John Platt所带来的的演讲。

 


鼓舞人心的想法和分析——关于将聚变作为能源来源的重要性。此外,作者还提供了一个交互式工具的链接,你可以在其中使用不同比例的能源及其组合来满足约束条件。https://google.github.io/energystrategies

 

为了使聚变能够成功,有许多事情要做。首先它应该消耗更多的能量,这个过程应该是可扩展的,对于最终用户来说它是最重要的因素。据估计,到2020年,这些先决条件中的一部分应该会是非常充分的。

 

详尽的陈述


配对数据图像翻译


注意机制的规划和可替代方案


双曲空间中的分层嵌入


注意(Attention)是你所需要的

 

研讨会

 

音频信号处理的机器学习(ML4Audio)

http://media.aau.dk/smc/ml4audio/

 

杰出的音频研究员研讨会

 

声学词嵌入。目标——在一些高纬度的空间中建立一种表示,其中,相似的口语词彼此之间的距离较小。这个问题比文本域要复杂得多。因为人们说一个单词的方式是多种多样的。相应的波形因扬声器而异,也取决于韵律和材质。长短期记忆网络(LSTM)可用于生成一个口语词的固定长度向量表示,还可以用于模拟嵌入空间的对比损失技术。这种方法也是多视角的,这意味着字符和声音的表现是共模的。

 

论文:https://arxiv.org/abs/1611.04496

代码: https://github.com/opheadacheh/Multi-view-neural-acoustic-words-embeddings



谷歌的玩家在Tacotorn TTS模型上展示了一些改进,这些模型可以捕捉说话者的风格。其主要思想是学习一个“风格原子词汇”(style atomic vocabulary),并使用“风格原子”的线性组合形成一个风格向量,作为生成下一个波形时间步长的条件。调节是通过注意机制来实现的。通过简单预测风格向量的标量权重,完全连接层被用来决定应该将在哪种类型的文本注意(textattention)和风格注意(style attention)进行混合。

 

可用样品:https://google.github.io/tacotron/publications/uncovering_latent_style_factors_for_expressive_speech_synthesis/index.html


 

机器学习的创意和设计

 




学习解构特征:从感知到控制

 

这个研讨会探讨的主要话题是关于可控生成模型,1年前只有InfoGAN被提出(据我所知),现在有更多的想法被提出来。其中之一是ß-VAE,当KL损失项被加权时,其只传递使编码数据发生变化的信息,以便约束信息瓶颈(informationbottleneck)被分离。

 

这个领域是尚没有人的经验可以借鉴,因此没有常见的方式来衡量分离程度,DeepMind提出了改进ß-VAE和新分离程度的度量方法。


 

 

今年在加州长滩会议中心举行的2017年神经信息处理系统(NIPS)会议可谓是有史以来最大的一次会议!以下是所有受邀嘉宾的演讲、教程和研讨会的资源及幻灯片清单。

  

内容包括以下几个方面:

 

1.受邀嘉宾演讲

 

2.教程

 

3.研讨会

 

4.WiML

 

受邀嘉宾演讲

 

助力未来100年——John Platt

 

为什么人工智能够使人类基因组重编程成为可能——Brendan J Frey

视频链接:https://www.youtube.com/watch?v=QJLQBSQJEus

 

偏差所带来的问题——Kate Crawford

视频链接:https://www.youtube.com/watch?v=fMym_BKWQzk

 

结构的不合理有效性——Lise Getoor

视频链接:https://www.youtube.com/watch?v=t4k5LKCpboc

 

机器人深度学习——Pieter Abbeel

幻灯片链接:https://www.dropbox.com/s/fdw7q8mx3x4wr0c/2017_12_xx_NIPS-keynote-final.pdf

 

视频链接:https://www.youtube.com/watch?v=po9z_tMuEwE

 

学习状态表征——Yael Niv

 

贝叶斯深度学习与深度贝叶斯学习——Yee Whye Teh

视频链接:https://www.youtube.com/watch?v=9saauSBgmcQ

 

AlphaZero—掌握没有人类知识的游戏­——DavidSilver

视频链接:https://www.youtube.com/watch?v=A3ekFcZ3KNw

 

Tutorial

 

深度学习:实践与趋势——Nando de FreitasScott ReedOriol Vinyals

幻灯片链接:https://docs.google.com/presentation/d/e/2PACX-1vQMZsWfjjLLz_wi8iaMxHKawuTkdqeA3Gw00wy5dBHLhAkuLEvhB7k-4LcO5RQEVFzZXfS6ByABaRr4/pub?slide=id.p

 

视频链接:https://www.youtube.com/watch?v=YJnddoa8sHk

 

Reinforcement Learningwith People——Emma Brunskill

视频链接:https://www.youtube.com/watch?v=TqT9nIx27Eg

 

优化运输的初级入门——Marco CuturiJustin M Solomon

幻灯片链接:https://www.dropbox.com/s/55tb2cf3zipl6xu/aprimeronOT.pdf

 

用高斯过程进行深度概率建模——Neil D Lawrence

幻灯片链接:http://inverseprobability.com/talks/lawrence-nips17/deep-probabilistic-modelling-with-gaussian-processes.html

 

机器学习的公平性——Solon BarocasMoritz Hardt

幻灯片链接:http://mrtz.org/nips17/#/

 

统计关系人工智能:逻辑,概率和计算——Luc De RaedtDavid PooleKristian KerstingSriraam Natarajan

 

使用概率程序、程序归纳和深度学习进行的工程和可逆工程智能——Josh TenenbaumVikash K Mansinghka

 

可微私有机器学习:理论、算法和应用——Kamalika ChaudhuriAnand D Sarwate

幻灯片:http://www.ece.rutgers.edu/~asarwate/nips2017/NIPS17_DPML_Tutorial.pdf

 

关于图和流形的几何深度学习——Michael BronsteinJoan Brunaarthur szlamXavier BressonYann LeCun

 

研讨会

 

1. 2017机器学习系统研讨会(http://learningsys.org/nips17/index.html

 

与会嘉宾:Aparna LakshmiratanSarah BirdSiddhartha SenChristopher RéLi Erran LiJoseph GonzalezDaniel Crankshaw

 

用于新兴AI应用程序的分布式执行引擎——Ion Stoica

 

学习数据库索引的案例

 

联合多任务学习——Virginia Smith

链接:http://learningsys.org/nips17/assets/slides/mocha-NIPS.pdf

 

在数据中心规模上加速持久性神经网络——Daniel Lo

链接:http://learningsys.org/nips17/assets/slides/brainwave-nips17.pdf

 

DLVM:神经网络DSL的现代编译器框架——RichardWeiLane SchwartzVikram Adve

链接:http://learningsys.org/nips17/assets/slides/dlvm-nips17.pdf

 

系统性机器学习系统和机器学习系统——Jeff Dean

链接:http://learningsys.org/nips17/assets/slides/dean-nips17.pdf

 

使用ONNXAI模型创建一个开放灵活的生态系统——Sarah BirdDmytro Dzhulgakov

链接:http://learningsys.org/nips17/assets/slides/ONNX-workshop.pdf

 

NSML:一个能够让你专注于你的模型机器学习平台——Nako Sung

链接:http://learningsys.org/nips17/assets/slides/nsml_slides.pdf

 

DAWNBench:一个端到端的深度学习基准和竞争机制——Cody Coleman

链接:http://learningsys.org/nips17/assets/slides/dawn-nips17.pptx

 

2.贝叶斯深度学习(http://bayesiandeeplearning.org/

 

与会人员:Yarin GalJosé Miguel Hernández-LobatoChristos LouizosAndrew GWilsonDiederik P(Durk) KingmaZoubin GhahramaniKevin P MurphyMax Welling

 

为什么你不使用概率编程呢?——Dustin Tran

链接:http://dustintran.com/talks/Tran_Probabilistic_Programming.pdf

 

马蹄形先验(HorseshoePriors)在BNN中进行自动模型选择——Finale Doshi

 

用于分布式学习、不确定性量化和压缩的深度贝叶斯——Max Welling

 

作为近似贝叶斯推理的随机梯度下降——Matt Hoffman

 

自回归生成模型的新进展——Nal Kalchbrenner

链接:https://drive.google.com/file/d/11CNWY5op_J5PvP02J9g8tciAom-MW9MZ/view

 

深度内核学习——Russ Salakhutdinov

 

用反向传播进行的贝叶斯推理——Meire Fortunato

 

深度学习层如何通过随机梯度下降来收敛到信息瓶颈限制?——Naftali (Tali) Tishby

 

3.学习有限的标记数据:弱监督和超监督(https://lld-workshop.github.io/

 

与会人员:Isabelle AugensteinStephen BachEugene BelilovskyMatthew BlaschkoChristoph LampertEdouard OyallonEmmanouil Antonios PlataniosAlexander RatnerChristopherRé

 

Welcome Note

链接:https://lld-workshop.github.io/slides/opening.pdf

 

功能磁共振成像启发:从有限的标记数据中学习——GaëlVaroquaux

链接:https://lld-workshop.github.io/slides/gael_varoquaux_lld.pdf

 

从有限的标记数据学习(但存在很多未标记的数据)——Tom Mitchell

链接:https://lld-workshop.github.io/slides/tom_mitchell_lld.pdf

 

结构化预测能量网络的光监督——Andrew McCallum

链接:https://lld-workshop.github.io/slides/andrew_mccallum_lld.pdf

 

强制神经连接预测器的按则播放——Sebastian Riedel

链接:https://lld-workshop.github.io/slides/sebastian_riedel_lld.pdf

 

小组:医学成像中有限的标记数据——Daniel RubinMatt LungrenIna Fiterau

链接:https://lld-workshop.github.io/slides/radiology_panel_lld.pdf

 

样本和计算有效的主动学习算法——Nina Balcan

链接:https://lld-workshop.github.io/slides/nina_balcan_lld.pdf

 

这并不明智!对模型解释进行积极注释的个案研究——Sameer Singh

链接:https://lld-workshop.github.io/slides/sameer_singh_lld.pdf

 

用生成式对抗网络克服有限的数据——Ian Goodfellow

链接:http://www.iangoodfellow.com/slides/2017-12-09-label.pdf

 

自然语言理解的难点在哪里?——Alan Ritter

链接:https://lld-workshop.github.io/slides/alan_ritter_lld.pdf

 

结束语

链接:https://lld-workshop.github.io/slides/closing.pdf

 

座谈会

 

1.可解释的机器学习

链接:http://interpretable.ml/

 

与会人员:Andrew G WilsonJason YosinskiPatrice SimardRich CaruanaWilliam Herlands

 

因果关系在可解释性中所发挥的作用——Bernhard Scholkopf

幻灯片链接:http://s.interpretable.ml/nips_interpretable_ml_2017_Bernhard_Schoelkopf.pdf

视频链接:https://www.youtube.com/watch?v=9C3RvDs_hHw

 

大型图像数据集中的可解释性发现——Kiri Wagstaff

幻灯片链接:http://s.interpretable.ml/nips_interpretable_ml_2017_kiri_wagstaff.pdf

视频链接:https://www.youtube.com/watch?v=_K2wVfi_KDM

 

(隐藏的)校准成本——Bernhard Scholkopf

幻灯片链接:http://s.interpretable.ml/nips_interpretable_ml_2017_Kilian_Weinberger.pdf

 

小组讨论会

链接:https://www.youtube.com/watch?v=kruwzfvKt3w

 

主持人为Rich Caruana,与会人员:Hanna WallachKiri WagstaffSuchi SariaBolei ZhouZack Lipton

 

人工智能安全的可解释性——Victoria Krakovna

幻灯片链接:http://s.interpretable.ml/nips_interpretable_ml_2017_victoria_Krakovna.pdf

视频链接:https://www.youtube.com/watch?v=3HzIutdlpho

 

操作和测量模型的可解释性——Jenn Wortman Vaughan

幻灯片链接:http://s.interpretable.ml/nips_interpretable_ml_2017_jenn_wortman_vaughan.pdf

视频链接:https://www.youtube.com/watch?v=8ZoL-cKRf2o

 

调试机器学习管道——Jerry Zhu

幻灯片链接:http://s.interpretable.ml/nips_interpretable_ml_2017_jerry_zhu.pdf

视频链接:https://www.youtube.com/watch?v=XO2281l_JVw

 

小组辩论和后续讨论

链接:https://www.youtube.com/watch?v=2hW05ZfsUUo

与会人员:Yann LeCunKilian WeinbergerPatrice SimardRich Caruana

 

WiML

 

贝叶斯机器学习:量化不确定性和规模化上的鲁棒性——Tamara Broderick

 

用于坚守领域的以通信为中心的多智能体深度强化学习——Aishwarya Unnikrishnan

 

图卷积网络可以在基因组学的深度学习模型中编码三维基因组体系结构——Peyton Greenside

 

社会科学机器学习——Hannah Wallach

 

公平意识建议——Palak Agarwal

 

具有损坏性奖励信道的强化学习——Victoria Krakivna

 

改善健康保健:强化学习所面临的挑战和机遇——Joelle Pineau

 

在深度学习中利用对抗性攻击提高鲁棒性——Zhenyi Tang

 

时序要求严格的机器学习——Nina Mishra

 

用于评估重复拍卖中调出机制的通用框架——Hoda Heidari

 

参与专家:在社会科学中应对应对发散引起先验的狄利克雷过程处理方法(A Dirichlet Process Approach to Divergent Elicited Priors)——SarahBouchat

  

大型归属图的表征学习——Nesreen K Ahmed

幻灯片链接:https://www.slideshare.net/NesreenAhmed2/representation-learning-in-large-attributed-graphs

 

欢迎个人分享,媒体转载请后台回复「转载」获得授权,微信搜索「BOBO_AI」关注公众号


中国人工智能产业创新联盟于2017年6月21日成立,超200家成员共推AI发展,相关动态:

中新网:中国人工智能产业创新联盟成立

ChinaDaily:China forms 1st AI alliance

证券时报:中国人工智能产业创新联盟成立 启动四大工程搭建产业生态“梁柱”

工信部网站:中国人工智能产业创新联盟与贵阳市政府、英特尔签署战略合作备忘录


点击下图加入联盟


下载中国人工智能产业创新联盟入盟申请表


关注“雷克世界”后不要忘记置顶

我们还在搜狐新闻、雷克世界官网、腾讯新闻、网易新闻、一点资讯、天天快报、今日头条、雪球财经……

↓↓↓点击阅读原文查看中国人工智能产业创新联盟手册

参与评论 您还未登录,请先 登录 后发表或查看评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
©️2022 CSDN 皮肤主题:大白 设计师:CSDN官方博客 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值