噪声总是有害吗？西工大李学龙教授提出基于任务熵的数学分析框架-CSDN博客

©作者 | 张聪穆

来源 | 机器之心

在日常生活中，噪声无处不在，通常会给人及周围环境造成不良影响。比如，汽车产生的噪声给人们的正常工作和休息带来了不少困扰。然而，任何事物都有两面性。在一个不小心睡过了的早上，汽车噪声却会给人们释放出正向积极的信号：迟到了，该上班了。

再例如，装修房子时电钻声非常嘈杂，对周边业主造成了干扰。但仔细听，从噪声中能分辨出钻的是木头还是钢铁，也能判断出电钻运转是否正常。这些常见的现象说明了一个本质问题：噪声也可以是有用的，以往我们可能错怪噪声了。

在各式各样的科学研究的方方面面中，噪声也大量存在，如仪器精度不足导致的仪器误差、人为操作中的失误导致的偏差、极端环境等外界干扰导致的信息失真等。研究者普遍认为噪声通常会对执行的任务产生不良影响，这已成为一个约定俗成的假设。因此，围绕着 “降噪” 这一核心任务产生了大量的研究工作。然而，西北工业大学李学龙教授团队在执行信号探测和处理任务时通过实验观察验证，对这一假设产生了质疑：科学研究中的噪声真的总是有害的吗？

恰如图 1 所示，在一个图像智能分类系统中，对图像加入适量的噪声后再训练，识别准确率反而上升了。这给我们带来一点启发：图像中加入一些噪声，而不是去除，再执行图像分类任务，可能效果会更好。只要噪声对目标的影响远小于噪声对背景的影响，产生 “伤敌（背景噪声）一千，自（目标信号）损八百” 的效果就有意义，因为任务追求的是高信噪比。

从本质上来说，面对传统分类问题，在特征后随机加上适度的噪声，相当于升高了特征维度，某种意义上说，类似是给特征增加了一个核函数，实际上完成了一种低维空间到高维空间的映射，使数据更可分，从而提高了分类效果。

▲ 图1. 图像识别准确率随图像噪声强度的增大而 “反直觉” 地呈现出 “先增后减” 的关系

更具体的任务的例子（图 2），从遥感影像中做飞机检测，一般都是把飞机紧紧框住，然后做模型训练。如果把飞机的框适当增大一些，把跑道等干扰信息加进来，模型训练效果反而会更好。为什么会出现这种现象呢？这是因为跑道等 “噪声” 和目标之间存在语义相关性，从而对完成飞机检测任务起到了正面的驱动作用，提高了检测准确率。

▲ 图2. 在传统目标检测中，一般认为检测框越小越好；然而在检测飞机时，适度扩大检测框引入跑道、停机坪等背景信息能够提高检测效果。

经过对这类现象分析验证，李学龙教授的论文《Positive-incentive Noise》已在期刊 IEEE Transactions on Neural Networks and Learning Systems (TNNLS) 上在线发表。

论文链接：

https://ieeexplore.ieee.org/document/10003114

Xuelong Li, “Positive-Incentive Noise,” IEEE Transactions on Neural Networks and Learning Systems, DOI: 10.1109/TNNLS.2022.3224577, 2022.

文中指出，噪声在获取、数据、特征、样本、决策等诸多层面都存在，根据对完成任务是否存在正向驱动作用，可将噪声划分为 “正激励噪声”（Positive-incentive Noise, Pi/π-Noise）和 “纯噪声”。“正激励噪声” 指的是有用的噪声，能对完成任务起到正面的驱动作用。“纯噪声” 则是无用、有害的噪声，会妨碍任务的有效执行。

为挖掘和利用正激励噪声，论文给出了 “任务熵”（Task Entropy）——的定义，并在此基础上建立了系统的理论分析框架。在任务给定的情况下，任务熵的大小衡量了噪声与任务之间 “互信息”（Mutual Information）的多少。在信息论中，互信息用来度量两个随机变量的 “共有信息”。

因此，论文明确指出，某些噪声和信号的产生是同源的，会附带信号特征信息，对任务完成提供帮助，这也是上述现象背后的本质原因。也就是说，当互信息大于 0 时，噪声会正向驱动完成任务，即

此时，噪声就是正激励噪声。当互信息等于 0 时，噪声对完成任务没有正向驱动作用，那么此时噪声为纯噪声。

正激励噪声能否被有效挖掘和利用取决于任务熵的大小，也就是任务的概率分布值。在论文中列举了几种常见视觉处理任务的概率分布值的计算方式。比如，在单目标分类任务中，数据集由数据样本集合 X 和标签集合 Y 组成，数据集 (X,Y) 可以看作是从某真实分布中采样而来。分布表示 “已有数据样本（如图像）被赋予不同标签的概率”，它的任务熵衡量了 “在此数据集上单标签分类任务的不确定性或难度”。