【源头活水】顶刊解读！IEEE T-PAMI （CCF-A，IF 23.6）2024年46卷第二期

“问渠那得清如许，为有源头活水来”，通过前沿领域知识的学习，从其他研究领域得到启发，对研究问题的本质有更清晰的认识和理解，是自我提高的不竭源泉。为此，我们特别精选论文阅读笔记，开辟“源头活水”专栏，帮助你广泛而深入的阅读科研文献，敬请关注！

扩散残差网络(Diff-ResNet)

1. T. Wang, Z. Dou, C. Bao and Z. Shi, "Diffusion Mechanism in Residual Neural Network: Theory and Applications," in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 46, no. 2, pp. 667-680, Feb. 2024, 

doi: 10.1109/TPAMI.2023.3272341.

关键词：扩散残差网络(Diff-ResNet)

扩散描述了不同对象之间的相互作用，是许多物理过程中出现的一种基本的内在机制。在许多训练样本有限的学习任务中，扩散连接了有标记和无标记的数据点，是获得高分类精度的关键组成部分。现有的许多深度学习方法在训练神经网络时直接施加融合损失。本文受对流扩散常微分方程(ode)的启发，提出一种新的扩散残差网络(Diff-ResNet)，在神经网络架构中内部引入扩散。在结构化数据假设下，证明了所提扩散块可以增大距离-直径比，提高类间点的可分性，并减小局部类内点之间的距离。此外，这一性质也很容易被残差网络用于构造可分离超平面。在各种数据集上对合成二分类、半监督图节点分类和少样本图像分类进行了广泛的实验，验证了所提方法的有效性。

光场成像、视差估计、遮挡模式感知损失

2. P. Li et al., "OPAL: Occlusion Pattern Aware Loss for Unsupervised Light Field Disparity Estimation," in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 46, no. 2, pp. 681-694, Feb. 2024, 

doi: 10.1109/TPAMI.2023.3296600.

关键词：光场成像、视差估计、遮挡模式感知损失

光场视差估计是计算机视觉中的一项重要任务。目前，基于监督学习的方法取得了比无监督和基于优化的方法更好的性能。然而，有监督方法在没有训练依据的真实世界数据上的泛化能力仍然有限。本文认为，无监督方法不仅可以在真实世界数据上实现更强的泛化能力，而且可以在合成数据集上实现更准确的视差估计结果。为了实现这一目标，本文提出了一种名为OPAL的遮挡模式感知损失，它成功地提取并编码了光场固有的通用遮挡模式，用于计算视差损失。OPAL可以实现：i)通过教网络如何有效处理遮挡，实现准确和鲁棒的视差估计；ii)显著减少精确和高效估计所需的网络参数。本文进一步提出一个EPI transformer和一个基于梯度的细化模块，以实现更准确和像素对齐的视差估计结果。大量实验表明，与SOTA无监督方法相比，该方法不仅显著提高了准确率，而且与SOTA有监督方法相比，在真实数据上具有更强的泛化能力。最后，网络训练和推理效率远高于现有的基于学习的方法。

事件相机与积分成像相机混合、异步线性滤波器结构技术

3. Z. Wang, Y. Ng, C. Scheerlinck and R. Mahony, "An Asynchronous Linear Filter Architecture for Hybrid Event-Frame Cameras," in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 46, no. 2, pp. 695-711, Feb. 2024, 

doi: 10.1109/TPAMI.2023.3311534

关键词：事件相机与积分成像相机混合、异步线性滤波器结构

事件相机非常适合捕捉无模糊的高动态范围(HDR)视觉信息，但对于静态或缓慢变化的场景成像能力较差。相反，传统的图像传感器可以有效地测量缓慢变化的场景的绝对强度，但在HDR或快速变化的场景中表现不佳。本文提出一种异步线性滤波器架构，融合事件和积分成像相机数据，用于HDR视频重建和空间卷积，利用两种传感器模态的优势。其关键思想是引入一种状态，该状态直接编码集成或卷积图像信息，并在每个事件或每个帧从相机到达时进行异步更新。该状态可以在需要时随时读取，以输入实时机器人系统的后续视觉模块。在具有挑战性的光照条件和快速运动的公开数据集上评估了实验结果，以及提供的具有HDR参考的新数据集。所提出的AKF方法在绝对强度误差(降低69.4%)和图像相似性(平均提高35.5%)两项指标上均优于其他主流方法。作为该架构的应用，展示了图像卷积与线性空间核高斯、Sobel和Laplacian的集成。

异质联邦学习、非目标蒸馏的联邦相关性和相似性学习

4. W. Huang, M. Ye, Z. Shi and B. Du, "Generalizable Heterogeneous Federated Cross-Correlation and Instance Similarity Learning," in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 46, no. 2, pp. 712-728, Feb. 2024, 

doi: 10.1109/TPAMI.2023.3327373.

关键词：异质联邦学习、非目标蒸馏的联邦相关性和相似性学习

联邦学习是一种重要的隐私保护多方学习范式，涉及多方协作学习和隐私数据的局部更新。模型异质性和灾难性遗忘是两个关键挑战，极大地限制了模型的适用性和泛化能力。本文提出了一种新的基于非目标蒸馏的FCCL+，联邦相关性和相似性学习方法，促进了域内判别性和域间泛化。针对异构性问题，利用不相关的未标记公共数据进行异构参与者之间的通信。通过构造互相关矩阵，在逻辑层和特征层对齐实例相似度分布，有效克服了通信障碍，提高了泛化能力。针对局部更新阶段的灾难性遗忘，FCCL+引入联邦非目标蒸馏，在保留域间知识的同时避免优化冲突问题，通过描述后验类关系来实现域间特权信息的提取。考虑到目前还没有一个标准的基准来评估同一设置下现有的异构联邦学习，本文提出了一个全面的基准，在四种域偏移场景下具有广泛代表性的方法，同时支持异构和同构联邦学习设置。实验结果证明了所提方法的优越性和模块在各种场景下的效率。

开源代码：https://github.com/WenkeHuang/FCCL

区块链数据挖掘、图学习

5. Y. Qi, J. Wu, H. Xu and M. Guizani, "Blockchain Data Mining With Graph Learning: A Survey," in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 46, no. 2, pp. 729-748, Feb. 2024, 

doi: 10.1109/TPAMI.2023.3327404.

关键词：区块链数据挖掘、图学习

区块链数据挖掘能够揭示区块链系统中匿名参与者的运行状态和行为模式，从而为系统运行和参与者行为提供有价值的见解。然而，传统的区块链分析方法由于其数据量大、结构复杂，存在无法处理的问题。图学习具有强大的计算和分析能力，通过分别处理每个节点的特征和链接关系，从图的角度探索数据的隐含属性，可以解决当前存在的问题。本文对基于图学习方法的区块链数据挖掘任务进行了系统的综述。首先，研究区块链数据采集方法，整合现有的数据分析工具，将采样方法分为基于规则和基于聚类两类；其次，将图构建分为基于交易的区块链和基于账户的方法，并综合分析了现有的区块链特征提取方法；然后，在区块链上对现有的图学习算法进行比较，将其分为基于传统机器学习的方法、基于图表示的方法和基于图深度学习的方法；最后，提出了未来的研究方向和有待解决的开放问题。

神经网络架构搜索（NAS）、免训练

6.W. Chen et al., "Understanding and Accelerating Neural Architecture Search With Training-Free and Theory-Grounded Metrics," in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 46, no. 2, pp. 749-763, Feb. 2024, 

doi: 10.1109/TPAMI.2023.3328347. 

关键词：神经网络架构搜索（NAS）、免训练

本文工作的目标是为神经架构搜索(NAS)设计一个原则性的、统一的免训练框架，具有高性能、低成本和深入的解释。NAS已经被爆炸式地研究，以自动发现性能最好的神经网络，但面临着沉重的资源消耗，并经常由于截断的训练或近似而产生搜索偏差。最近的NAS工作Mellor等人2021年，Chen等人2021年，Abdelfattah等人2021年开始探索可以在不训练的情况下预测网络性能的指标。然而，它们要么利用了深度网络的有限属性，要么没有将其免训练指标的好处应用于更广泛的搜索方法。通过严格的相关性分析，本文提出了一个统一的框架来理解和加速NAS，通过解缠搜索网络的" TEG "特性——可训练性、表达性、泛化性——所有这些都以免训练的方式进行评估。TEG指标可以扩展并与各种NAS搜索方法集成，包括supernet和单路径NAS方法。广泛的研究验证了TEG-NAS框架的有效和高效指导，提高了搜索精度，并减少了56%以上的搜索时间成本。在三个具有" TEG "特征的布局上可视化了搜索轨迹，观察到在NAS-Bench-201上，鉴于其简单的拓扑结构，很容易找到一个好的局部最小值，而在DARTS空间上，由于其复杂的布局几何结构，平衡" TEG "特征要困难得多。

本文目的在于学术交流，并不代表本公众号赞同其观点或对其内容真实性负责，版权归原作者所有，如有侵权请告知删除。

收藏，分享、在看，给个三连击呗！