20170131 | 阅读 | 个人向

NIPS 2016最全盘点：主题详解、前沿论文及下载资源

• 《吴恩达 NIPS 2016 演讲现场直击:如何使用深度学习开发人工智能应用?》
  「nuts and bolts of building AI」

  1. Scale driving Deep Learning progresses
  2. the rise of end-to-end learning：更纯粹，但需要更大的训练集
  3. 机器学习策略：如何有效地处理数据集
     
     • Avoidable bias + Variance = bias-variance trade-off（偏差-方差权衡）
     • Training error high? -> Bias: bigger model, train longer, new model architecture.
       Dev error high? -> Variance: more data, regularization, new model architecture.
  4. Data Synthesis
     
     • 开发集和测试集要遵从相同的数据分布（distribution），也可以拿出训练集中的一部分内容作为训练-开发集（train-dev set）
     • 人类误差Human level error与训练集误差之间的差值还是称为 bias（偏差）；训练集误差与训练-开发误差之间的差值称为「训练集的过拟合」（也就是说，它代表了模型单纯在训练集上表现能力）；训练-开发误差与开发集误差之间的差值称为「data mismatch」（数据不匹配，就是刚才说的两组数据不在同一个「宇宙」带来的偏差）；开发集误差与测试集误差之间的差值称为「开发集过拟合」（同理）。
     • Training error high? -> Bias: bigger model, train longer, new model architecture
       Training-Dev error high? -> Variance: more data, regularization, new model architecture
       Dev set error high? -> Train-test data mismatch: make training data more similar to test data, data synthesis(Domain adaptation),New model architecture
       Test set error high? -> Overfit dev set: more dev set data
  5. 关于人工智能的未来
     迁移学习（transfer learning）
  6. 人工智能产品管理（AI product management）

• 《GAN 之父 NIPS 2016 演讲现场直击：全方位解读生成对抗网络的原理及未来》

  • … Tips and Tricks
    
    1. 把数据标签给 GAN -> one-sided label smoothing（单边标签平滑）
    2. Batch Norm: 取「一批」数据，把它们给规范化（normalise）一下（减平均值，除以标准差）。
       问题: 同一批（batch）里面的数据太过相似，对一个无监督的 GAN 而言，很容易被带偏而误认为它们这些数据都是一样的。也就是说，最终的生成模型的结果会混着同一个 batch 里好多其它特征。这不是我们想要的形式
       -> Reference Batch Norm: 取出一批数据（固定的）当作我们的参照数据集 R。然后把新的数据 batch 都依据 R 的平均值和标准差来做规范化。
       问题: 如果 R 取得不好，效果也不会好。或者，数据可能被 R 搞得过拟合。换句话说：我们最后生成的数据可能又都变得跟 R 很像
       -> Virtual Batch Norm: 取出 R，但是所有的新数据 x 做规范化的时候，我们把 x 也加入到 R 中形成一个新的 virtual batch V。并用这个 V 的平均值和标准差来标准化 x。这样就能极大减少 R 的风险。
    3. 平衡好 G 和 D
       使用非饱和（non-saturating）博弈来写目标函数，保证 D 学完之后，G 还可以继续学习；使用标签平滑化。
  • 问题
    
    1. 不稳定，很多情况下都无法收敛（non-convergence）：局部最优解，模式崩溃（mode collapse）-> minibatch GAN, unrolling GAN
    2. 评估
    3. 离散输出
    4. 强化学习的连接
  • 结合
    PGN（Plug and Play Generative Models/即插即用生成模型）(Nguyen et al, 2016)
  • video, pdf
• 《Bengio 和 LeCun 在 NIPS 2016 上的演讲》
  
  • 1【生物学可信深度学习】《Towards biologically plausible deep learning》by Yoshua Bengio
  • 2.【能量 GAN 与对抗方法】《Energy-Based GANs & other Adversarial things》by Yann LeCun
• 论文推荐 部分
  
  1. 对话模型的对抗式评估（Adversarial Evaluation of Dialogue Models）。
  2. 构建像人一样学习和思考的机器（Building Machines That Learn and Think Like People）
  3. 理解深度学习需要重新思考泛化（Understanding deep learning requires rethinking generalization）
• 资源
  
  1. NIPS 2016 Annual Meeting
  2. Peter Abbeel, “Tutorial: Deep Reinforcement Learning through Policy Optimization” - http://people.eecs.berkeley.edu/~pabbeel/nips-tutorial-policy-optimization-Schulman-Abbeel.pdf
  3. Yoshua Bengio, “Towards a Biologically Plausible Model of Deep Learning” - http://www.iro.umontreal.ca/~bengioy/talks/Brains+Bits-NIPS2016Workshop.pptx.pdf
  4. Mathieu Blondel, “Higher-order Factorization Machines” - http://www.mblondel.org/talks/mblondel-stair-2016-09.pdf
  5. Kyle Cramer (keynote), “Machine Learning & Likelihood Free Inference in Particle Physics” - https://figshare.com/articles/NIPS_2016_Keynote_Machine_Learning_Likelihood_Free_Inference_in_Particle_Physics/4291565
  6. Xavier Giro, “Hierarchical Object Detection with Deep Reinforcement Learning” - http://www.slideshare.net/xavigiro/hierarchical-object-detection-with-deep-reinforcement-learning
  7. Ian Goodfellow, “Adversarial Approaches to Bayesian Learning and Bayesian Approaches to Adversarial Robustness” - http://www.iangoodfellow.com/slides/2016-12-10-bayes.pdf
  8. Ian Goodfellow, “Tutorial: Introduction to Generative Adversarial Networks” - http://www.iangoodfellow.com/slides/2016-12-9-gans.pdf
  9. Neil Lawrence, “Personalized Health: Challenges in Data Science” - Personalized Health: Challenges in Data Science
  10. Yann LeCun, “Energy-Based GANs & other Adversarial things” - https://drive.google.com/file/d/0BxKBnD5y2M8NbzBUbXRwUDBZOVU/view
  11. Yann LeCun (keynote), “Predictive Learning” - https://drive.google.com/file/d/0BxKBnD5y2M8NREZod0tVdW5FLTQ/view
  12. Valerio Maggio, “Deep Learning for Rain and Lightning Nowcasting” - https://speakerdeck.com/valeriomaggio/deep-learning-for-rain-and-lightning-nowcasting-at-nips2016
  13. Sara Magliacane, “Joint causal inference on observational and experimental data” - http://www.slideshare.net/SaraMagliacane/talk-joint-causal-inference-on-observational-and-experimental-data-nips-2016-what-if-workshop-poster
  14. Andrew Ng, “Nuts and Bolts of Building Applications using Deep Learning” - https://www.dropbox.com/s/dyjdq1prjbs8pmc/NIPS2016%20-%20Pages%202-6%20(1).pdf
  15. John Schulman, “The Nuts and Bolts of Deep RL Research” - http://rll.berkeley.edu/deeprlcourse/docs/nuts-and-bolts.pdf
  16. Dustin Tran, “Tutorial: Variational Inference: Foundations and Modern Methods” - http://www.cs.columbia.edu/~blei/talks/2016_NIPS_VI_tutorial.pdf
  17. Jenn Wortman Vaughan, “Crowdsourcing: Beyond Label Generation” - http://www.jennwv.com/projects/crowdtutorial/crowdslides.pdf
  18. Reza Zedah, “FusionNet: 3D Object Classification Using Multiple Data Representations” - http://matroid.com/papers/fusionnet_slides.pdf