【源头活水】顶刊解读！IEEE T-PAMI （CCF-A，IF 23.6）2024年46卷第一期 [1]

“问渠那得清如许，为有源头活水来”，通过前沿领域知识的学习，从其他研究领域得到启发，对研究问题的本质有更清晰的认识和理解，是自我提高的不竭源泉。为此，我们特别精选论文阅读笔记，开辟“源头活水”专栏，帮助你广泛而深入的阅读科研文献，敬请关注

联邦学习、数据异质性、贝叶斯理论

L. Liu et al., "A Bayesian Federated Learning Framework With Online Laplace Approximation," in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 46, no. 1, pp. 1-16, Jan. 2024, doi: 10.1109/TPAMI.2023.3322743. 

关键词：联邦学习、数据异质性、贝叶斯理论

论文网址：

https://ieeexplore.ieee.org/document/10274722

联合学习（FL）允许多个客户端通过模型聚合和本地模型训练循环，协作学习一个全球共享的模型，而无需共享数据。大多数现有的联合学习方法都是在不同的客户端上分别训练本地模型，然后简单地平均参数，在服务器端获得一个集中模型。然而，这些方法普遍存在较大的聚合误差和严重的局部遗忘问题，在异构数据环境中尤为严重。为了解决这些问题，我们在本文中提出了一种新颖的 FL 框架，它使用在线拉普拉斯近似法来近似客户端和服务器端的后验。在服务器端，采用多变量高斯乘积机制来构建和最大化全局后验，从而大大减少了局部模型之间的巨大差异所引起的聚合误差。在客户端，设计了一种先验损失，使用服务器发送的全局后验概率参数来指导本地训练。结合来自其他客户端的此类学习约束，我们的方法就能减轻局部遗忘。最后，我们在多个基准测试中取得了最先进的结果，清楚地证明了所提方法的优势。

下图为整体系统架构图

数据集蒸馏综述

S. Lei and D. Tao, "A Comprehensive Survey of Dataset Distillation," in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 46, no. 1, pp. 17-32, Jan. 2024, doi: 10.1109/TPAMI.2023.3322540.

论文网址：

https://ieeexplore.ieee.org/document/10273632

深度学习技术在过去十年中得到了前所未有的发展，已成为许多应用领域的首选。这一进步主要归功于系统性合作，快速增长的计算资源鼓励先进算法处理海量数据。然而，以有限的计算能力处理无限增长的数据逐渐成为一项挑战。为此，人们提出了多种方法来提高数据处理效率。数据集蒸馏作为一种数据集缩减方法，通过从大量数据中合成一个小的典型数据集来解决这一问题，引起了深度学习界的广泛关注。根据是否明确模仿目标数据的性能，现有的数据集提炼方法可分为元学习框架和数据匹配框架。虽然数据集蒸馏法在压缩数据集方面表现出了令人惊讶的性能，但仍然存在一些局限性，例如蒸馏高分辨率数据或具有复杂标签空间的数据。本文从蒸馏框架和算法、因式分解数据集蒸馏、性能比较和应用等多个方面全面介绍了数据集蒸馏。最后，我们讨论了数据集蒸馏所面临的挑战和有前景的方向，以进一步推动数据集蒸馏的未来研究。

下图为整体系统架构图

机器学习用于美学评估、现实主义绘画评价

Z. Zhang et al., "A Machine Learning Paradigm for Studying Pictorial Realism: How Accurate are Constable's Clouds?," in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 46, no. 1, pp. 33-42, Jan. 2024, doi: 10.1109/TPAMI.2023.3324743.

关键词：机器学习用于美学评估、现实主义绘画评价

论文网址：

https://zh.wikipedia.org/wiki

英国风景画家约翰·康斯特勃尔被认为是 19 世纪欧洲现实主义绘画运动的奠基人。尤其是康斯特勃绘制的天空，在他同时代的人看来非常准确，今