NeurIPS，全称神经信息处理系统大会(Conference and Workshop on Neural Information Processing Systems)，是一个关于机器学习和计算神经科学的国际会议。作为目前全球最负盛名的人工智能盛会之一，NeurIPS 在每年年末都是计算机科学领域瞩目的焦点。被 NeurIPS 接收的论文，代表着当今神经科学和人工智能研究的最高水平。
我们通过AMiner AI，对 NeurIPS2023 收录的会议论文进行了分类整理，今日分享的是Generative Model主题论文，共21篇，由于篇幅问题，在此仅展示10篇，更多论文可以点击下方链接进行查看，欢迎下载收藏！
查看更多NeurIPS2023论文：
https://www.aminer.cn/conf/5ea1e340edb6e7d53c011a4c/NeurIPS2023
Oral论文
1.Brain Diffusion for Visual Exploration: Cortical Discovery using Large Scale Generative Models
这篇论文介绍了使用大规模生成模型进行脑扩散视觉探索的方法,该方法基于自然图像和fMRI记录,通过脑引导图像合成来预测激活特定大脑区域的图像。该方法被称为“脑扩散视觉探索”(BrainDiVE),它利用大型扩散模型和脑引导图像合成,能够合成具有适当语义特异性的首选图像,以验证特定类别选择性ROI的功能组织。该方法还能够表征相同高级别类别选择性ROI之间的差异,并确定这些ROI中的新功能细分,这些结果进一步了解了人脑视觉皮层的功能组织细节,并为使用假设驱动方法进一步研究皮质组织提供了明确的约束。
https://www.aminer.cn/pub/647eaf51d68f896efad41ece/?f=cs
2.How to Turn Your Knowledge Graph Embeddings into Generative Models
这篇论文探讨了如何将知识图嵌入转化为生成模型。一些最成功的知识图嵌入（KGE）模型，如 CP、RESCAL、TuckER 和 ComplEx，可以解释为基于能量的模型。然而，从这种角度来看，它们不适合精确的最大似然估计（MLE），采样，并且难以整合逻辑约束。本文重新解释了这些 KGE 的评分函数作为电路——受约束的计算图，允许有效边际化。然后，我们设计了两种方法来获得高效的生成电路模型，方法是将它们的激活限制为非负或对输出进行平方。我们的解释在链接预测方面几乎没有损失或没有损失性能，而电路框架通过 MLE 进行精确学习，高效采样新三元组，并确保逻辑约束在设计时得到满足。此外，我们的模型在具有数百万实体的图上比原始 KGE 表现得更加优雅。
https://www.aminer.cn/pub/64702deed68f896efa52014c/?f=cs
Spotlight论文
1.STEVE-1: A Generative Model for Text-to-Behavior in Minecraft
这篇论文介绍了一种名为 STEVE-1 的生成模型，用于在 Minecraft 中响应文本指令，并展示了使用 unCLIP 方法创建序列决策制定代理的有效性。STEVE-1 的训练分为两个步骤：首先将预训练的 VPT 模型适应 MineCLIP 的 latent space 中的指令，然后训练一个先验来预测文本中的 latent codes。这使我们能够通过自我监督的行为克隆和后视重命名来微调 VPT 模型，而无需昂贵的人类文本注释。通过利用像 VPT 和 MineCLIP 这样的预训练模型，并采用文本条件图像生成的最佳实践，STEVE-1 仅花费 60 美元来训练，并且能够响应多种短期开放式文本和视觉指令。STEVE-1 在 Minecraft 中实现了开放式指令跟随的新标杆，同时使用鼠标和键盘低级别控制和原始像素输入，远远优于以前的基准。我们提供所有资源，包括我们的模型权重、训练脚本和评估工具，以供进一步研究使用。
https://www.aminer.cn/pub/64796919d68f896efa134e12/?f=cs
2.Unifying Predictions of Deterministic and Stochastic Physics in Mesh-reduced Space with Sequential Flow Generative Model
这篇论文提出了一种新的框架，用于在不规则网格空间中统一预测确定性和随机物理系统的演化。该框架结合了生成器和顺序网络，以建模动态系统。具体来说，作者使用自编码器学习低维空间中物理变量的紧凑表示，然后结合条件归一化流模型和变压器建模潜在表示的时间序列。作者在确定性和随机系统中评估了新模型，结果表明该模型优于多个基线模型，能更准确地预测确定性系统，并将自身的预测误差反映在其不确定性估计中。在预测随机系统时，所提出的模型能生成高质量的预测样本，这些样本的均值和方差与昂贵的数值模拟计算出的样本统计数据相匹配。
https://www.aminer.cn/pub/654ce6b7939a5f408267dee9/?f=cs
3.Score-based Generative Models with Lévy Processes
这篇论文研究了在基于评分的生成模型中，探索最优随机过程以超越高斯噪声注入仍是一个未解决的问题。布朗运动是一种轻尾过程，具有连续路径，导致函数评估次数（NFE）收敛速度较慢。最近的研究表明，扩散模型在失衡数据上存在模式崩溃问题。
为了克服布朗运动的局限性，我们引入了一种新颖的基于评分的生成模型，称为Lévy-Itō模型（LIM）。该模型利用各向同性 α \alpha α-稳定的莱维过程。我们首先推导出由莱维过程驱动的逆时间随机微分方程，并开发相应的分数去噪评分匹配。所提出的生成模型利用了莱维过程的 heavy-tailed 特性。我们的实验结果表明，LIM 允许在各种图像数据集（如 CIFAR10、CelebA 和失衡数据集 CIFAR10LT）上实现更快、更多样的抽样，同时保持与现有扩散模型相比的高保真度。将我们的结果与使用相同架构的 DDPM 的 3.21 Fréchet inception 距离（FID）和 0.6437 召回率进行比较，我们在 CelebA 数据集上实现了 1.58 FID 和 0.7006 召回率。LIM 在 NFE 500 中表现出最好的性能，并且比基线快 2 倍的总墙钟时间。
https://www.aminer.cn/pub/654ce5c7939a5f4082648657/?f=cs
4.Selective Amnesia: A Continual Learning Approach to Forgetting in Deep Generative Models
这篇论文研究了深度生成模型中的选择性遗忘问题。最近，大规模文本到图像模型的广泛应用引发了人们对这些模型可能被误用，生成有害、误导和不适当内容的担忧。为了解决这个问题，作者从持续学习的角度，开发了一种用于选择性忘记预训练深度生成模型中的概念的技术，称为选择性失忆。该方法可以应用于条件变分似然模型，包括各种流行的深度生成框架，如变分自编码器和大规模文本到图像扩散模型。实验结果表明，该方法可以诱导各种概念的遗忘，从标准数据集中的整个类别到文本到图像模型中的名人和裸露提示。论文的代码已经在GitHub上公开发布。
https://www.aminer.cn/pub/64659ad1d68f896efa875240/?f=cs
Poster论文
1.A generative model of the hippocampal formation trained with theta driven local learning rules
这篇论文介绍了一种基于生成模型的海马体形成（大脑中的一个结构）的生物合理性模型，该模型使用theta驱动的局部学习规则进行训练。生成模型最近在机器学习中取得了重大突破，而在神经科学领域，人们认为生成模型对于动物智能至关重要。理解支持这些过程的生物学机制有望阐明生物智能与人工智能之间的关系。在动物中，海马体形成被认为利用生成模型来支持其在空间和非空间记忆中的作用。本文介绍了一个类似于Helmholtz机的海马体形成生物合理性模型，并将其应用于时间输入流。
我们模型的新颖之处在于，快速theta波段振荡（5-10 Hz）在整个网络中控制信息流的方向，类似于高频唤醒-睡眠算法进行训练。我们的模型能准确推断高维感知环境的潜在状态并生成现实的感知预测。此外，它可以通过发展匹配以前理论建议的环状吸引器连接结构来学习路径整合，并在不同环境中灵活地转移这种结构。与其他模型相比，我们的模型在一个生物合理的局部学习规则下捕捉到了海马体的多种认知功能。
https://www.aminer.cn/pub/654ce558939a5f4082630093/?f=cs
2.Feature Likelihood Score: Evaluating the Generalization of Generative Models Using Samples
这篇论文提出了一种新的度量方法，名为特征似然分数（FLS），用于评估生成模型的泛化能力。现有的生成模型评估方法并不完整，标准似然性指标并不总是适用，而且很少与感知保真度相关，而基于样本的指标（如FID）对过度拟合不敏感，即无法在训练集之外进行泛化。为了解决这些局限性，我们提出了FLS，一种参数化的基于样本的分数，它使用密度估计来提供全面的三分法评估，包括生成样本的新颖性（即与训练样本不同）、保真度和多样性。我们经验地证明了FLS能够识别出先前提出的指标失效的具体过度拟合问题案例。我们还对各种图像数据集和模型类进行了广泛的FLS评估，证明了FLS能够匹配以前指标（如FID）的直观，同时提供对生成模型的更全面的评估。
https://www.aminer.cn/pub/654ce686939a5f408267322b/?f=cs
3.Unbiased learning of deep generative models with structured discrete representations
这篇论文研究了结构化离散表示的无偏深度生成模型学习。作者通过将图形模型与深度学习架构相结合，学习具有两者框架优势的生成模型。结构化变分自编码器（SVAE）继承了图形模型的结构和可解释性，以及深度学习对高维数据的灵活似然函数，但面临着巨大的优化挑战。作者提出了学习SVAE的新算法，并首次展示了SVAE在数据缺失时处理多模态不确定性的能力，通过融入离散潜在变量。我们提出了一种内存高效的隐式微分方案，使SVAE可以通过梯度下降进行学习，同时表现出对不完整优化的鲁棒性。为了更快地学习准确的图形模型参数，我们推导了一种无需手动推导的自然梯度计算方法，避免了一般方法中存在的偏差。这些优化创新使得SVAE首次与最先进的时序模型进行了比较，SVAE在学习和可解释的结构化离散数据表示方面表现出了竞争力。
https://www.aminer.cn/pub/648bde68d68f896efaf8198b/?f=cs
4.An Information-Theoretic Evaluation of Generative Models in Learning Multi-modal Distributions
这篇论文关注了机器学习领域中生成模型评估的问题，特别是在处理多模态分布（如图像数据集）时。作者提出了一种基于量子信息论的生成模型多样性评估方法，利用Rényi核熵（RKE）作为评估分数，以衡量生成的样本中的模式数量。通过该方法，作者对最先进的生成模型在标准图像数据集上的表现进行了广泛评估。结果显示，尽管最近训练生成模型的算法在模式多样性方面优于早期架构，但它们仍然无法捕捉到真实数据的全部多样性。此外，作者的实证结果根据生成的样本的RKE分数为广泛使用的生成模型提供了一个排名。
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
