2020 NeurIPS MeetUp

NeurIPS是人工智能领域的全球顶级会议，在研一时候我导师让我开始研究推荐系统给我安排精读的第一篇论文就是来自NIPS 2008（一篇关于矩阵分解的论文），今年正好在北京朝阳区附近NIPS举办了一场线下的交流活动，我便报名参加了。

大会开场有一名老外远程祝贺NIPS MeetUp的举办，随后便直接开始第一篇keynote的演讲
《Principled Design of Convolutional Neural Networks》:
主要讲神经网络架构搜索

《强化学习与环境模型》：这篇南大的强化学习论文主要讲了构建强化学习需要一个封闭的模拟环境，作者构建了一个模拟器模拟许多虚拟的用户，模拟器应用的案例挺丰富的，案例1应用于淘宝的推荐场景，GVM提升有2%；案例2应用于滴滴出行的司机决策制定；案例4应用于咸鱼的自动砍价，据说砍价效果太好没给上线

《CoADNet》：计算机视觉领域的显著性目标检测，把视频做成时序的图片检测显著性物体

《AdderNet》：https://github.com/huawei-noah/AdderNet
华为诺亚方舟实验室作品，把神经网络中的某些乘法算法替换为AdderNet，减小计算量使用更少的计算单元还能减小芯片面积

《面向自然语言生成的稳定、可控、可解释机器学习》
字节跳动AIlab作品，主要用AI生成文本，为平台创造内容，介绍说他们部署了一个xiaomingRobot，稳定运行数年，面向体育新闻领域自动写稿，不过看样子粉丝不多。

《深度强化学习挑战与落地》：
华为诺亚方舟实验室作品，落地场景挺多的，看来广告推荐场景他们已经懒得介绍了

《DynaBERT》：
华为诺亚方舟实验室作品，介绍BERT模型笨重，无法部署
BERT
部署困难、
解决办法：模型蒸馏(TinyBERT)、矩阵分解降维近似(ALBERT)、权重共享(ALBERT)、参数量化(Q-BERT，TernaryBERT)、模型剪枝、More Compact module and AutoML

DynaBERT:
助教模型：从一个基础的预训练模型到可伸缩性预训练
知识蒸馏：
network重排->根据算子重要性

其他几篇论文主要都在讲CV领域，不太了解也听不太懂，整场会议感受下来，今年NIPS的重点工作还是在深度强化学习、和计算机视觉领域的工作比较多，那种特别的noval的工作这场没有看到很多，记得去年参加kddChina印象深刻，许多大佬都现身了，会后的圆桌会议也相当热烈，演讲者的演讲水平也很高，这场NIPS MeetUp印象一般，可能也跟许多大佬无法现身有关。