直播预告 | NeurIPS 专场三 & 青年科学家专场

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

01

预告一：NeurIPS 2021专场三

2月24日下午2点，本期AI TIME NeurIPS邀请了来自莱斯大学、清华大学、佐治亚理工学院、上海交通大学、神户大学、弗吉尼亚理工的博士们开启NeurIPS专场三！

哔哩哔哩直播通道

扫码关注AITIME哔哩哔哩官方账号预约直播

★ 嘉宾简介 ★

王登豹：

东南大学在读博士，导师为张敏灵教授。主要研究方向为弱监督学习、深度学习鲁棒性及不确定性估计，以及以实验观察为基础的深度学习可解释性分析。已有多篇相关论文发表于国际期刊、会议，并多次担任国际期刊审稿人及学术会议程序委员。

分享内容：重新思考正则化方法对模型不确定性校准的影响

深度神经网络的输出不确定性估计在许多实际应用中非常重要。一个鲁棒的模型应该用它本身的输出置信度来反映预测的不确定性。然而，研究人员发现深度神经网络的不确定性校准 (calibration) 效果很差，尤其是表现在过度自信（over-confidence）方面。本篇报告将介绍我们的一系列实验结果，该结果表明如果允许后校准（post-hoc calibration）方法的使用，过度自信现象能够被轻易地解决。相反地，对于置信度的惩罚将压缩后校准方法对不确定性估计的效果提升。

徐兆卓：

2017年获武汉大学电子信息工程专业学士学位，2019年毕业于斯坦福大学(Stanford University)电子工程系获硕士学位，现为莱斯大学(Rice University)计算机系在读博士生，师从Anshumali Shrivastava教授。主要研究方向为近邻检索及其在大规模机器学习中的应用，研究成果发表于NeurIPS, ICLR, KDD, EMNLP, WSDM等顶级会议。2021年获Ken Kennedy研究所英国石油奖研金。

分享内容：一种面向条件梯度优化方法的迭代效率提升策略

条件梯度方法(Conditional Gradient Method) 是一种经典的机器学习优化算法。CGM的运行效率取决于迭代次数和每次迭代的计算代价，现有的研究往往聚焦于减少迭代次数，忽略了对每次迭代的效率提升。本文着重研究了CGM算法中的迭代步骤，将条件梯度算法的迭代过程表达为一种最大内积搜索(MaxIP)问题，并首次提出一种具有理论保障的随机哈希算法来降低条件梯度算法的迭代损耗。在保持迭代次数不变的前提下，该方法在每一次迭代中将关于参数量N的线性复杂度O(n)降为亚线性的O(n1/2)，为核支持向量机和神经网络等机器学习模型的大规模训练提供了一种新的优化策略。

王子昱：

清华大学在读博士生，导师为张钹、朱军教授。他的研究兴趣包括因果推断和贝叶斯方法。

分享内容：对偶工具变量回归模型的拟贝叶斯推断

非线性工具变量回归的不确定性量化是一个困难的问题。我们提出一种基于高斯过程先验和拟贝叶斯分析的新方法，它可以与灵活的机器学习方法结合，并具有渐进最优的收敛保证。

宁雪妃：

2016年和2021年从清华大学电子工程系获得学士、博士学位。目前在华为-清华联合培养博士后工作站从事博士后研究。

分享内容：神经网络架构的快速性能估计方法的衡量

如何高效、准确地对神经架构进行性能估计是神经网络架构搜索 (NAS) 的一大关键问题。为了降低估计架构性能所需的训练成本，单次评估器 (One-Shot Estimator, OSE) 通过在所有架构之间共享一个“超网络”的参数来分摊架构训练成本。最近也有研究者提出了完全不需要训练的零样本估计器 (Zero-Shot Estimator, ZSE)，以进一步降低架构评估成本。尽管这些评估器的效率很高，但它们的评估质量未得到充分的衡量和分析。本工作在五个不同大小、性质的搜索空间 (NAS-Bench-101/201/301, NDS ResNet/ResNeXt-A) 上衡量和分析了 OSE 和 ZSE 的评估质量，并对评估器的应用和未来研究给出了建议。

陈在为：

佐治亚理工学院机器学习方向的博士生，目前跟随Siva Theja Maguluri教授从事强化学习方向的理论研究。

内容分享：从广义贝尔曼算子的角度对异策时间差分学习进行有限样本分析

本文从广义的贝尔曼算子出发，为一系列的异策时间差分学习算法提供有限样本分析。

汪润中：

上海交通大学三年级博士生，师从严骏驰副教授和杨小康教授，主要研究方向是机器学习-传统算法融合的组合优化和图论求解。汪润中已在CVPR、ICCV、NeurIPS、TPAMI上发表第一作者论文7篇，担任CVPR、ICCV、NeurIPS、ICLR、ECCV、AAAI等会议的审稿人。

内容分享：机器学习遇上运筹优化，助力企业降本增效：一种双层优化方法

运筹帷幄，决胜千里。运筹优化（Operations Research）作为数学、计算机科学、管理学的交叉学科，如今广泛应用在企业的生产、运营、物流环节，通过计算机算法指导和辅助人类管理者进行决策。在这篇NeurIPS21论文中，我们提出了一种将最新的机器学习技术（强化学习、图神经网络）与传统优化算法结合的框架，弥补了现有机器学习框架难收敛、模型容量要求高的缺陷，在3个真实的组合优化问题上显著地提升了传统算法的求解性能。

张庆儒：

2020年获得上海交通大学学士学位，现为佐治亚理工计算机系在读二年级博士生，曾在ICLR, NeurIPS发表多篇论文，他的主要研究方向为图数据与序列数据上的算法设计与理论分析。

内容分享：权衡偏差和方差的近似最优图神经网络邻接点采样器

图神经网络在图相关的应用中取得了很好的表现，但随着工业界数据集规模的不断扩张，全部邻接点上的图卷积操作在计算上变得不可拓展。先有的工作现后提出了一些邻接点采样算法来解决这个问题，但他们大多缺乏可靠的理论保证，同时也仍会有很高的采样方差。在这篇文章中，我们将GNN的邻接点采样问题公式化为多臂老虎机问题(Multi-Armed Bandit, MAB)，我们提出同时考虑采样偏差与方差，从而达到一个更好的权衡。通过显式地研究GNN巡练的动态方程，我们证明了提出的算法理论上可以达到接近最有的采样误差。

杨以钦：

清华大学自动化系在读三年级博士生。现导师是赵千川教授。博士期间的研究方向是离线强化学习的任务泛化性研究。杨以钦已在AAMAS、NeurIPS和ICLR上发表论文3篇。本篇论文发现了一种适应性和拓展性强的离线强化学习方法，并被评为Spotlight。

内容分享：一种适应性、可拓展性强的离线强化学习方法

离线强化学习由于其不与环境交互，只从数据集中学习策略而得到越来越多的关注，但传统Off-policy方法由于值估计中的外推误差而不能用于离线学习场景。本篇论文从理论上证明在多智能体场景中，外推误差随着智能体数量的增加而显著增加，从而导致当前的离线强化学习方法无法适用于多智能体场景。进一步地，本文提出了一种适用性和可拓展性强的离线强化学习方法--ICQ。该方法将策略的学习限制在数据集内，并实现了最优策略和行为克隆之间的平衡，在理论上可证ICQ具有近似收敛性。由于ICQ具有非常简洁的形式，可以非常容易地扩展到其它领域，例如分层，多智能体等方向。

陈钰涵：

神户大学系统信息研究科计算科学专业的在读一年级博士生。现导师是谷口隆晴教授。于2018年获得北京信息科技大学应用统计学学士学位。博士期间的研究方向主要为深度学习与几何动力学和物理模拟技术的结合。该论文是陈钰涵作为第一作者在NeurIPS发布的文章，且被采用为spotlight。其他相关论文发表在NeurIPS，AAAI等。

内容分享：神经辛形式：学习一般坐标系上的哈密尔顿方程

近年来，人们对学习哈密尔顿方程的方法进行了大量研究。尽管这些方法非常有前途，但常用的哈密尔顿方程的表示方法使用广义动量，而广义动量一般是未知的。因此，训练数据必须用这个未知的坐标系来表示，这给将模型应用于真实数据带来了困难。同时，哈密尔顿方程也有一个无坐标的表达方式，它是通过使用辛-2形式来表达的。在这项研究中，我们提出了一个利用神经网络从数据中学习辛形式的模型，从而提供了一种从一般坐标系表示的数据中学习哈密尔顿方程的方法，这种方法不限于广义坐标和广义动量。因此，所提出的方法不仅能够对哈密尔顿和拉格朗日形式的目标方程进行建模，而且还能够提取隐藏在数据中的未知哈密尔顿结构。例如，许多多项式常微分方程，如Lotka-Volterra方程，已知其存在非微观的哈密尔顿结构，我们的数值实验表明，这种结构当然可以从数据中学习。从技术上讲，每个辛2-形式都与一个偏斜对称矩阵相关，但并非所有的偏斜对称矩阵都定义了辛2-形式。在所提出的方法中，利用辛2-形式是某些微分1-形式的外导数派生，我们用神经网络对微分1-形式进行建模，从而提高了学习的效率。

卜杰：

弗吉尼亚理工的计算机博士生，目前在Dr. Anuj Karpatne指导下研究机器学习的物理相关应用，研究兴趣同时也包括神经网络压缩和图深度学习，作为第一作者在NeurIPS等会议上发表了模型剪枝和机器学习用于偏微分方程方面的应用。在开始博士阶段的学习之前，他本科毕业于哈尔滨工业大学的通信工程专业。

内容分享：神经网络结构化剪枝可能比想象的更简单

神经网络结构化剪枝作为降低其计算开销的一个有效手段，一直以来都受到关注。一直以来，在网络结构化剪枝中，一大重点是尝试找到“重要”的的子结构，比如神经元或者卷积核。不同于之前很多越来越复杂的结构化剪枝算法，本文提出了一个十分简单有效的结构化剪枝策略，抛弃了以往的训练、剪枝、微调的三步原则，直接在训练中同步剪枝，一步到位无需后期微调。由于其几乎不增加训练开销，在快速迭代的工业场景中有良好的应用前景。我们在文中通过试验展示了这个简单易用的方法有着不逊于现阶段最好的结构化剪枝算法的性能。

直播结束后大家可以在群内进行提问，请添加“AI TIME小助手（微信号：AITIME_HY）”，回复“NeurIPS，将拉您进“AI TIME NeurIPS 交流群”！

02

预告二：青年科学家系列专场20

2月24日晚 7:30-8:30

AI TIME 特别邀请上海交通大学长聘教轨副教授张耀宇老师为大家带来分享。

哔哩哔哩直播通道

★ 嘉宾简介 ★

张耀宇：

上海交通大学长聘教轨副教授。2016于上海交通大学获数学博士，随后在纽约大学阿布扎比分校&库朗研究所、普林斯顿高等研究院做博士后研究。他在深度学习基础理论方面做出了一系列工作，包括与合作者发现了神经网络训练过程普适的频率原则并获得2021世界人工智能大会青年优秀论文提名奖，建立了两层神经网络动力学的超参数依赖关系（JMLR），证明了神经网络损失景观的嵌入原则（NeurIPS 2021 spotlight）。

分享内容：

深度学习损失景观的嵌入原则

报告简介：

神经网络损失景观的描绘是机器学习领域长久以来难以解决的重要基础理论问题。由于神经网络的损失函数通常维数极高且高度非凸，直观理解和刻画其在高维空间中的特征与规律极为困难。我们的工作另辟蹊径将不同宽度神经网络的损失景观作为一个整体进行考察，证明了它们之间一种内禀的联系——神经网络的嵌入原则(Embedding Principle), 即一个神经网络的损失景观中 “包含”所有更窄神经网络损失景观的所有临界点（包括鞍点、局部最优点和全局最优点等）。具体来说，我们提出了一类将窄网络的参数空间嵌入到任一更宽网络的参数空间中的方法，能够保证窄网络的任何临界点嵌入到宽网络后仍然是临界点并且网络的输出函数保持不变，并在此基础上证明了嵌入原则。嵌入原则揭示出了深度学习损失景观的一种层层嵌套的基本结构，为深度学习损失景观细节的进一步研究奠定了坚实的基础。

直播结束后大家可以在群内进行提问，请添加“AI TIME小助手（微信号：AITIME_HY）”，回复“PhD-4”，将拉您进“AI TIME PhD 交流群-4”！

AI TIME微信小助手

主       办：AI TIME 

合作媒体：AI 数据派

合作伙伴：中国工程院知领直播、学堂在线、智谱·AI、智源研究院、蔻享学术、AMiner、 Ever链动、biendata

往期精彩文章推荐

记得关注我们呀！每天都有新知识！

 关于AI TIME 

2019年，清华大学人工智能研究院院长张钹院士、唐杰教授和李涓子教授等人联合发起“AI TIME science debate”，希望用辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。

AI TIME是清华大学计算机系一群关注人工智能发展，并有思想情怀的青年学者创办的圈子。AI TIME旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法、场景、应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家与爱好者，打造成为全球AI交流与知识分享的聚集地。

我知道你

在看

哦

~

点击 阅读原文 预约直播！