ICLR2023 表征学习论文合集

国际表征学习大会（International Conference on Learning Representations，简称 ICLR）是深度学习领域的顶级会议，关注有关深度学习各个方面的前沿研究，在人工智能、统计和数据科学领域以及机器视觉、语音识别、文本理解等重要应用领域中发布了众多极其有影响力的论文。

AMiner通过AI技术，对 ICLR2023 收录的会议论文进行了分类整理，今日分享的是表征学习主题论文，共85篇，我们在这里展示十篇最受欢迎的论文，欢迎下载收藏！

1. Language Modelling with Pixels 论文详情页
作者：Phillip Rust,Jonas F. Lotz,Emanuele Bugliarello,Elizabeth Salesky,Miryam de Lhoneux,Desmond Elliott
AI综述（大模型驱动）：基于图的语言建模本文介绍了基于图的分层编码器PIXEL,它将文本视为图像,并将其转换为图形。PIXE支持多种语言,包括英语、德语、法语、韩语、西班牙语、捷克语、挪威语、瑞典语、乌尔都语和泰耳语。此外,它还比伯特·贝特表现出更鲁棒的语言处理能力。
论文链接：https://www.aminer.cn/pub/62d0db155aee126c0f9f1014/

2. Masked Frequency Modeling for Self-Supervised Visual Pre-Training 论文详情页
作者：Jiahao Xie,Wei Li,Xiaohang Zhan,Ziwei Liu,Yew Soon Ong,Chen Change Loy
AI综述（大模型驱动）：我们提出了基于统一频率域的无监督图像建模方法,它基于对图像进行建模的独立频率领域。它首先假设输入图的频率部分,然后预测缺失的频段。我们的关键洞察是,在频率范畴中预测模糊部分对于揭示基本图形模式而不是揭示空间中隐藏的模糊斑点是理想的。我们的发现表明,与合适的模拟配置和预测策略相结合,各种高频组件和各种低频组件的结构信息以及低频邻接之间的低频统计信息在学习好表示方面都非常有用。我们首次表明,即使不需要额外数据、额外模型或额外特征,一个简单的非夏威夷框架也能学习 meaningful表示,即使使用所有这些:(i)额外系统、(ii)额外的模型。
论文链接：https://www.aminer.cn/pub/62aa9fb55aee126c0fa5cbf2/

3. Relative representations enable zero-shot latent space communication 论文详情页

作者：Luca Moschella,Valentino Maiorca,Marco Fumero,Antonio Norelli,Francesco Locatello,Emanuele Rodolà
AI综述（大模型驱动）：神经网络将数据矩阵的结构嵌入到潜在空间中。理想地,潜在空间中的数据点分布应该仅依赖于任务、数据、损失等特定约束。然而,如随机权重初始化、训练超参数或其他随机性的来源,则可能导致不连贯的潜在空间。在这项工作中,我们表明,在相同的数据和建模选择下,不同的潜在空间通常因未知的半监督变体变化而不同。在本文中,我们提出了一种替代的数据表示方法,该方法可以用于实现预期的概率变异,而不需要额外的培训。我们展示了如何利用这些相对相似性来确保在实践中实现潜在空间通信,从零投影模型缝纫到不同环境下的潜在空间比较。
论文链接：https://www.aminer.cn/pub/633a52a290e50fcafd68911c/

4. Evaluating Long-Term Memory in 3D Mazes 论文详情页
作者：Jurgis Pasukonis,Timothy Lillicrap,Danijar Hafner
AI综述（大模型驱动）：我们介绍了记忆陋室,一种专门为评估战术人员的长寿能力的3D领域。与现有的基线相比,陋室测量长寿能力不同,需要 agent将信息融合并本地化。我们提出了一个在线激励学习基线,一个多种 offline数据集和 offline检验评估。
论文链接：https://www.aminer.cn/pub/635753d490e50fcafdddf445/

5.SemPPL: Predicting pseudo-labels for better contrastive representations 论文详情页
作者：Matko Bošnjak,Pierre H. Richemond,Nenad Tomasev,Florian Strub,Jacob C. Walker,Felix Hill,Lars Holger Buesing,Razvan Pascanu,Charles Blundell,Jovana Mitrovic
AI综述（大模型驱动）： 我们提出了一种新的半监督学习方法,即语义积极性通过pseudo标签(SemPPL),它将标记和未标记数据相结合来学习有意义的表示。我们的方法扩展了自我监督对比学习,其中表示由区分两个样本是否代表相同的基线假设来塑造。为了丰富一组积极性的集合,我们利用现有的少数基本正确标记预测器来预测缺失的部分,并使用带有同样错误的标记的邻居分类器的启发式算法来预测缺失的部分。我们联合学习表示和预测基于bootstrapping的正负面符号。这创造了一个复兴的过程。
论文链接：https://www.aminer.cn/pub/63c0cc6490e50fcafd2a8e32/

6.A Time Series is Worth 64 Words: Long-term Forecasting with Transformers 论文详情页
作者：Yuqi Nie,Nam H. Nguyen,Phanwadee Sinthong,Jayant Kalagnanam
AI综述（大模型驱动）： 我们提出了一种高效的基于变形器的时间系列预测和自我监督表示学习模型的新型设计。
论文链接：https://www.aminer.cn/pub/6385788490e50fcafdf4998e/

7. Sign and Basis Invariant Networks for Spectral Graph Representation Learning 论文详情页
作者：Derek Lim,Joshua Robinson,Lingxiao Zhao,Tess Smidt,Suvrit Sra,Haggai Maron,Stefanie Jegelka
AI综述（大模型驱动）：我们介绍了SignNet和基本网络的新神经架构,它们对两个主要的矩阵正则性表示不变:(i)符旋转,因为如果$v$是属性向量,那么就意味着“v$,以及(ii)高度一般的基本基线平行性,在高维矩阵中以无限的选择基线为特征出现的高度普遍的基本基线。我们证明,在某些条件下,我们的网络是可以实现的,即这些约束下,他们可以将任意规律的相似度近似到任何变化的情况下。当使用拉普卡等属性向量时,我们的网络比基于图的方法表现得更好。实验表明,我们的网络明显优于现有的粒子图重叠、表达式图解析和三角图神经领域学习基线。
论文链接：https://www.aminer.cn/pub/621d8ec95aee126c0f73afcf/

8. Deep Ensembles for Graphs with Higher-order Dependencies 论文详情页
作者：Steven J. Krieg,William C. Burgis,Patrick M. Soga,Nitesh V. Chawla
AI综述（大模型驱动）：图神经网络在许多图学习任务中都能取得最先进的性能,但依赖于给出的图是正确的区分结构的假设。当一个系统包含更高阶顺序相关联时,我们表明,传统的图表示倾向于对每个节点节点的区域进行过度拟合。为了解决这个问题,我们提出了一种新的深层图集(DGE),它捕捉了局部变异,并通过训练一组GNN在相同节点节点的不同节点子空间上对其进行了区分性训练。我们证明,学习多样化的基线分类器至关重要,尤其是对于具有已知高阶依赖性的六个实际数据集来说。
论文链接：https://www.aminer.cn/pub/629435a05aee126c0f2fe392/

9. Can Neural Networks Learn Implicit Logic from Physical Reasoning? 论文详情页
作者：Aaron Traylor,Roman Feiman,Ellie Pavlick
AI综述（大模型驱动）：我们测试了假设,神经网络没有对逻辑推理固有的诱导偏好来获得隐式表示的假设。在这里,隐式指的是有限的、领域特定的这些动词形式,并且心理学研究表明这些动词可能是成人人类中表现出这种抽象领域的先驱。为了测试神经网络,我们调整了一个设计用来诊断动物和婴儿原始话语儿童存在否定和不相交的情况的测试,该测试需要用环境约束以及隐式的逻辑推理来推断一个隐藏的对象的位置。我们的结果表明,即使在他们直接使用类似的逻辑推理任务时,模型仍然无法扩展到要求明确的抽象问题。
论文链接：https://www.aminer.cn/pub/63dcdb422c26941cf00b6294/

10. Disentangling with Biological Constraints: A Theory of Functional Cell Types 论文详情页
作者：James C. R. Whittington,Will Dorrell,Surya Ganguli,Timothy E. J. Behrens
AI综述（大模型驱动）：在机器学习中,神经递质通常为特定的任务变量精确调谐。此外,这些不对称表示在机器学习中受到了高度崇拜。在这里,我们数学地证明了简单的生物约束,即活动和体重双方的能量效率,促进了这种寻求不对称的表示。我们展示了这些约束导致各种任务和架构中的分歧。我们还使用这一理论解释为什么大脑将其细胞划分为不同的细胞类型,例如矩阵和对象向量体。
论文链接：https://www.aminer.cn/pub/633cf5d490e50fcafd7734e7/

想查看全部表征学习论文，可以点击此处！！！