今天9:30 | ICML 2022 10位论文一作带你玩转机器学习

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

8月17日9:40，本期我们邀请到ICML 2022的十位讲者给大家带来精彩的分享！

哔哩哔哩直播通道

扫码关注AI TIME哔哩哔哩官方账号预约直播

8月17日 09:40-10:00

讲者简介

张庆儒：

佐治亚理工学院博士生，主要研究方向是自然语言处理与图神经网络。

分享内容

使用参数重要性的置信区间上界来剪枝大语言模型

报告简介

现如今的语言模型在各种任务中取得了很好的效果，但其对存储空间的要求限制了其在客户端的部署，现在的工作提出了剪枝算法来解决这个问题，但由于随机采样和动态的参数训练，模型剪枝算法使用的参数重要性估计方法存在很大的方差，很难准取反映其真实的重要性，为了解决以上问题，我们提出使用参数重要性的置信区间上界来量化重要性估计的不确定性，并结合进一步的平滑性操作提出了新的剪枝算法，实验结果验证了算法的有效性。

8月17日 10:00-10:20

讲者简介

刘祖欣：

卡内基梅隆大学博士生，主要研究方向为深度强化学习的安全性和鲁棒性以及在机器人领域的应用

分享内容

基于变分推断和安全性约束的深度强化学习

报告简介

传统的深度强化学习往往只考虑最大化任务奖励函数，而没有显式地考虑一些安全性约束，例如发生碰撞或对物体造成损坏。对于很多现实环境的应用来说，破坏安全约束的代价明显要比获得更多的任务奖励要大得多。本讲座会介绍强化学习安全性的主流建模分析框架，分析这些主流方法理论上和实现上的缺陷，例如难以保证最优性，对超参数敏感，训练不稳定，以及学习效率低等问题。针对这些缺陷，我们提出了一种基于变分推断的策略优化方法，通过将带约束的强化学习问题转换成一个凸函数优化问题和一个监督学习来保证策略训练的最优性和稳定性。同时，我们提供了一种离线策略的实现方式，可以重复利用在经验回放池中存储的数据从而提高训练的样本利用效率。最后实验表明，我们的算法比基线方法能够更好的满足安全性，保持任务奖励，同时提升多达1000倍的样本利用效率。

8月17日 10:20-10:40

讲者简介

苗思奇：

普渡大学在读博士生，导师为李攀教授。主要研究方向是图神经网络以及可解释的图学习方法。

分享内容

图随机注意力机制：可解释可泛化的图学习方法

报告简介

如今越来越多的科学应用依赖于学习模型来从图结构数据中收集见解，因此对可解释的图学习模型的需求也愈发迫切。以前的工作主要致力于使用事后方法（post-hoc method）来解释预先训练好的模型。在这篇工作中，我们指出了事后可解释方法的多个根本性缺陷，并着力于设计自身可解释的模型来克服事后方法的局限性。具体而言，我们提出了一种图随机注意力机制，即Graph Stochastic Attention (GSAT)。该机制经由信息瓶颈理论导出，GSAT会在训练中习得对与任务无关的子图施加较大的随机性，以屏蔽来自于它们的信息；同时习得对与任务相关的子图施加较低的随机性。随机性程度的不同最终提供了可解释性。在一定假设下，GSAT可以被证明能够捕捉到数据中真正重要的子图，这使得GSAT具有有保障的可解释性和可泛化性。在8个数据集上的大量实验显示GSAT能够比过去的SOTA方法提升至多20%的可解释性（AUC）和至多5%的预测准确性（Accuracy）。

8月17日 10:40-11:00

讲者简介

曾诗薇：

史蒂文森理工学院博士生，导师为沈杰教授，研究方向为机器学习理论。

分享内容

通过人群高效的泛化学习

报告简介

近年来随着需要标记的数据量大幅增长，许多众包平台涌现并在应用中取得了良好的数据集标记效果。然而，我们对众包平台提供的标记质量，以及能否从标记中高效学习到好的模型缺乏理论指导。另一方面，在现实的许多应用场景中，两两对比会比给出确切的标记更为容易。例如通过医学图像鉴定哪一位病人的病情更为严重，比为每一位病人给出确切诊断会更为容易。因此，在这篇文章中，我们提出了一个算法，利用两两对比大幅减少确切标记的数据量，并且在人群中存在大量噪音的情况下，从理论上证明了我们的算法具有良好的泛化学习保障。此外，我们证明了算法是高效的：相对于传统泛化学习的数据复杂度 n，我们需要的确切标记量为对数级别 O(log n)，两两对比的数据量为 O(1)。换句话来说，通过充满干扰信息的人群学习，和通过专家标记的学习，从理论上来说是一样容易的。

8月17日 11:00-11:20

讲者简介

何奕萱：

牛津大学统计系20级博士生，牛津大学克拉伦登全额奖学金获得者，师从Gesine Reinert教授和Mihai Cucuringu教授，研究图神经网络方向。目前已经在ICML、NeurIPS、SDM、CIKM等顶级会议发表文章，担任ICML、NeurIPS、AAAI、WSDM、SIGKDD、Journal of Complex Netwoks等顶级会议和杂志的审稿人。个人主页https://sherylhyx.github.io.

分享内容

GNNRank: 基于有向图神经网络从两两比较中学习全局排序

报告简介

从两两的比较中恢复全局排名具有广泛应用。与比赛中的比赛相对应的成对比较可以解释为有向图（有向图）中的边，其节点表示例如排名未知的竞争对手。在本文中，我们通过提出所谓的 GNNRank 将神经网络引入排序恢复问题，这是一种可训练的基于图神经网络的有向图嵌入框架。此外，我们设计了新的目标来编码排名混乱/违规。该框架涉及排名分数估计方法，并通过展开由可学习的相似性矩阵构造的图的 Fiedler 向量计算来添加归纳偏差。大量数据集的实验结果表明，我们的方法相对于基线获得了具有竞争力且通常更出色的性能，并显示出不错的迁移能力。

8月17日 11:20-11:40

讲者简介

李林翼：

伊利诺伊大学厄巴纳香槟分校博士生，师从李博教授和谢涛教授，研究方向为可验证的深度学习

分享内容

基于双重采样的深度学习鲁棒性验证

报告简介

大型神经网络对于对抗攻击有着严重的鲁棒性隐患，为了缓解这一隐患，具有鲁棒性保证的推断和验证算法至关重要。目前，基于随机平滑化（Randomized Smoothing）的推断算法是已有算法中效率最佳的，也是唯一能在ImageNet级别的大规模数据集上提供鲁棒性保证的推断算法。但是，针对随机平滑化的验证算法却遇到了瓶颈：过去两年的理论研究证明出，这些验证算法无法对高维输入提供随维度增长的鲁棒半径保证。在本报告中，我将展示我们的最新发现——已有验证算法有此瓶颈的原因仅仅是因为它们只利用了单个分布下的统计量。针对于此，我们介绍了一种高效的验证方法DSRS，可以最大程度地利用两个分布下的统计量计算鲁棒性保证。从理论角度，我们证明了DSRS可以绕开已有瓶颈并实现最优的鲁棒半径增长率；从实际角度，DSRS对已有大规模模型可以验证出显著更大的鲁棒半径。我们相信，这一工作为大型神经网络的鲁棒验证算法开辟了一个崭新的改进方向。

8月17日 15:00-15:20

讲者简介

吴海旭：

清华大学软件学院硕士生，师从龙明盛副教授，研究方向为深度预测学习，深度学习基础模型。目前已经在NeurIPS、ICLR、ICML等会议上发表多篇论文，研究成果在中国气象局、2022北京冬奥会落地应用。

分享内容

Flowformer：任务通用的线性复杂度Transformer

报告简介

任务通用是基础模型研究的核心目标之一，同时也是深度学习研究通向高级智能的必经之路。近年来，得益于注意力机制的通用关联建模能力，Transformer在众多领域中表现优异，逐渐呈现出通用架构的趋势。但是随着序列长度的增长，标准注意力机制的计算呈现二次复杂度，严重阻碍了其在长序列建模与大模型中的应用。受网络流理论启发，本文提出任务通用的骨干网络Flowformer，实现线性复杂度，在长序列、视觉、自然语言、时间序列、强化学习五大任务上取得优秀效果，代码已开源：https://github.com/thuml/Flowformer。

8月17日 15:20-15:40

讲者简介

李云飞：

清华大学交叉信息研究院博士生，导师助理教授吴翼。研究兴趣包括深度强化学习和机器人。个人主页：https://irisli17.github.io/

分享内容

阶段化的自我归纳学习：一种高效的稀疏奖赏强化学习方法

报告简介

近年来，深度强化学习在许多任务中都取得了惊人的突破，但由于其对超参数极为敏感，距离实际落地还有很大差距。相比之下，监督学习是一种更加稳定的学习范式，许多基础“大模型”正是监督学习的产物。我们提出了一种结合两种范式的框架“PAIR”，通过自我归纳产生模仿学习数据，从而将监督学习引入强化学习，高效稳定地解决极具挑战性的稀疏奖赏强化学习问题。该框架核心设计是交替进行在线和离线学习阶段：在线阶段智能体一边进行强化学习，一边收集用于离线学习的数据；离线阶段智能体在自己采集的数据中成功的轨迹上进行自我模仿学习。在线阶段还加入了自我归纳技术，让智能体把原本不会的困难任务分解成可以解决的简单的任务，大大扩充可用于离线学习的数据集。我们还引入了基于值函数的内在奖赏来提升稀疏奖赏下的学习效率。PAIR是目前已知的第一种在仅给代表成功与否的二值化奖励情况下，学会控制机械臂堆出六层高的积木塔的方法。

8月17日 15:40-16:00

讲者简介

秦铁鑫：

香港城市大学电机工程学系21级博士生，导师为Haoliang Li，主要研究方向为迁徙学习、域泛化。

分享内容

面向非静态环境的模型泛化方法

报告简介

域泛化旨在提高机器学习算法对OOD数据的泛化能力。现有的域泛化技术只关注在平稳和离散场景中解决模型泛化问题。然而，许多真实世界任务(如自动驾驶汽车系统、传感器测量)发生在非静态的环境中，而这往往会涉及更复杂以及不断演化的域漂移情况。在本文中，我们形式化定义这种非静态环境的泛化问题。同时，为了解决这一挑战，我们提出了一种的基于autoencoder结构来建模域漂移的概率框架，利用深度神经网络探索域漂移在隐空间的连续结构，其中我们将域漂移表示为协变量漂移和概念漂移的复合，并对其演化模式分别进行建模。实验证明我们的方法在这种动态场景中可以取得较高的识别精度。此外，我们所提的方法具有一定的生成能力，可在序列数据的合成等方面作进一步探索。

8月17日 16:00-16:20

讲者简介

唐桢桁：

香港浸会大学20级博士生，导师为褚晓文教授，主要研究方向为联邦学习，分布式深度学习。

分享内容

虚拟同构化学习：抵御联邦学习中的数据异构性

报告简介

在联邦学习中，模型性能通常会受到由数据异构性引起的客户端漂移的影响。我们提出了一种名为虚拟同构性学习（VHL）的方法来直接“纠正”数据异构性。VHL 通过在客户端之间分享虚拟同构数据集进行联邦学习，该数据集旨在满足两个条件：完全不包含任何隐私信息并且是可分的。该虚拟数据集可以从客户端共享的纯噪声中生成，旨在校准来自异构客户端的特征。理论上，我们证明了 VHL 可以在原数据分布上实现可保证的泛化性能。实验上，我们验证了 VHL 赋予联邦学习显著提高的收敛速度和泛化性能。VHL 是首次尝试使用虚拟数据集来解决数据异构性问题的工作，为联邦学习提供了新的有效工具。

直播结束后大家可以在群内进行提问，请添加“AI TIME小助手（微信号：AITIME_HY）”，回复“ICML”，将拉您进“AI TIME ICML交流群”！

AI TIME微信小助手

主       办：AI TIME 

合作媒体：AI 数据派、学术头条

合作伙伴：智谱·AI、中国工程院知领直播、学堂在线、蔻享学术、AMiner、 Ever链动、科研云

往期精彩文章推荐

记得关注我们呀！每天都有新知识！

 关于AI TIME 

AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。

迄今为止，AI TIME已经邀请了700多位海内外讲者，举办了逾350场活动，超280万人次观看。

我知道你

在看

哦

~

点击 阅读原文 预约直播！