《中国人工智能学会通讯》——9.4 噪音正则

9.4 噪音正则

噪音正则的基本目标，是在误差建模中嵌入对噪音分布的约束项 ( 简称“误差正则项”)，从而实现对噪音拟合性与误差简单性的折中，减弱误差建模方法对数据随机信息拟合过度的问题。

以 MoG 或 MoEP 误差建模方法为例，其噪音分布的复杂性，主要体现在噪音成分的数量上。因此我们预期的噪音正则，首先是控制 MoG 或 MoEP中噪音成分的个数，从而让误差函数中包含尽可能少的参数数目。这一目标可通过以下方式实现：在数据似然函数（对应目标函数误差函数项）中加入对噪音比例参数向量的如下惩罚项[17,19] ：
这一惩罚项能够自动将一些 π k 压制为 0 [19] ，从而能够对 MoG 或 MoEP 噪音成分个数进行自动选择。该噪音正则的稀疏性性能对于 MoEP 误差建模而言尤为必要，在其性能保证下，可预设多个 L p k 的预选成分 ( 如从 L 0.1 至 L 10 )，然后通过误差建模方法自动遴选其中少量符合数据噪音特征的 L p k 成分对噪音进行表达，从而不仅有效避免了过拟合问题，且保持了模型对复杂噪音拟合的能力。其有效性已在高光谱遥感图像去噪，视频前背景分离等问题中得以验证[17-18] 。

一个需要注意的事实是，机器学习方法一般将数据噪音假设为独立同分布(如独立同分布的高斯、拉普拉斯、MoG、MoEP 等 )，但对于现实数据中蕴含的噪音而言，独立同分布假设往往并非成立。例如，对于采集于自然场景的图像，由于其不同位置接受光照程度与对应材质反射率的不同，沿空间其噪音分布幅度甚至类型均存在差异；对于通过监控摄像头采集的视频，由于周边环境与前景目标的不断改变，在不同时刻其不同帧上也呈现不同的噪音；对于卫星采集的多光谱遥感图像，由于在不同光谱段上传感器设置与对光谱对不同物质反射率的差异，沿谱段其噪音分布也是存在显著差异的。对于这种类型的非独立同分布噪音分布的情况，传统方法 ( 包括 MoG 与 MoEP 噪音建模方法 ) 不能客观反映数据噪音分布随时、空、谱的变化与多样性，因而，仍然存在模型的鲁棒性缺陷。

而误差正则这一工具，提供了针对此类非独立同分布噪音进行误差建模的一种有效手段。事实上，在机器学习建模中在不同时空谱位置考虑数据不同噪音分布的难度（即在不同位置对数据各自设定或学习一个不同的误差函数）在于，噪音分布的形态将较为复杂，参数可能过多（或者说，对每个误差函数进行估计时分配的数据过少），通过人工设定难度过大，过拟合噪音的问题很可能发生。但事实上，尽管在数据不同位置存在不同的噪音分布，这些噪音分布之间并非独立存在，而往往存在多种类型的关联性。如对于图像或者视频，噪音分布往往在数据的时空邻域呈现较为连续的变化（注意该连续并非指图像或视频结构的平滑，而是指时空噪音呈现较为均匀变化的统计形态）。此时，我们一方面对不同时空位置数据设置不同的噪音分布，另一方面同时加入相应正则项反映类似的噪音分布关联，则有望在更好拟合实际非独立同分布噪音的同时，有效避免过拟合问题的发生。

对于以上所述的反映噪音分布时空连续性的噪音正则，可通过如下方式实现[18] 。首先，对数据 x时空不同位置样本 x i 而言，编码其 MoG 或 MoEP的噪音分布如下 ( 当把所有 p k 取为 2 时，对应 MoG误差建模模型 )：
其中 z i 为标记 x i 隶属于哪个高斯或 EP 成分的指示变量，其性质为 z ik ∈ {0,1}、z ik =1。注意到，在该噪音建模方式中，每个样本点噪音 e i 具有其单独的噪音成分隶属变量 z i ，可通过对不同样本的 p(z i ) 施加以下马尔科夫随机场正则使其产生关联：
其中N(i)代表了处于样本z i 的时空邻域的样本指标。该噪音正则可有效抑制对具有时空变化噪音分布建模时出现的复杂形态，使噪音分布仍然具有相对简单的形式，从而保证了误差建模的有效性。我们近期的工作将该思想应用于高光谱图像去噪[17-18] ，取得良好的应用效果。

类似噪音正则的作用也许还有更广泛的用途。对于来源于各种应用问题的各种数据类型，其灵活多变的噪音形态，均可望通过找到其不同部分噪音之间的本质关联，并进一步将其用噪音正则编码的方式，健康地嵌入到误差建模的模型中进行训练和学习。例如对于高光谱遥感图像，可对每个谱段建立不同的噪音分布，但却同时引入这些噪音参数本身的超参数分布进行约束，从而刻画其关联性并抑制其复杂性；类似的，对于一个视频，我们可对每一个视频帧假设其不同的噪音分布形式，但却嵌入噪音正则刻画这些分布参数产生时序的关联性。通过这样的方式，也许噪音建模可以更有效地发挥其对数据复杂噪音的自适应性：一方面，所获的误差函数将能够更客观体现数据噪音的复杂形态；另一方面，噪音正则将有效控制误差函数复杂性，减弱其出现对噪音的过拟合问题。

容易观察到，噪音正则从对噪音分布一般化的形式约束（如稀疏性），逐渐展现出与领域知识与结构相关的特点（如图像/视频噪音的局部一致性）。这的确是非常有趣的。对比机器学习对确定性信息建模的发展历程，似乎其对随机性信息的建模也可以进行类似的推演和发展 ( 虽然其思想方法与实现方式有显著差异 )：从噪音拟合，到一般性噪音正则，再到基于领域知识与数据 ( 噪音 ) 结构的更针对性，更细致化的噪音刻画。那么有必要探讨一下，在未来的研究中，误差建摸究竟会有一个什么发展趋势？