《Positive-incentive Noise》IEEE Transactions on Neural Networks and Learnin S stems,论文精读

目录

1. INTRODUCTION

1.1 Motivation

1.2 Examples

1.3 Conclusion

2. POSITIVE-INCENTIVE NOISE

2.1 信息论的动机

2.2 单标签分类解释

2.3 随机共振的解释

2.4 多任务学习的解释

2.5 π-噪声与对抗训练的关系

3.APPLICATIONS OF π-NOISE

3.1 Enhanced π-Noise

3.1.1 Datasets Setting

3.1.2 Details of Generated Noise

3.1.3 Experiment Results:

3.2 Rectified π-Noise

3.2.1 数据集设置

3.2.2 Classification (Support Vector Machine ) 分类(支持向量机）

3.2.3 聚类

3.2.4 降维(线性判别分析)

3.2.5. 实验结果

4. Future Works

5. Conclusion

---

1. INTRODUCTION

1.1 Motivation

Noise can be generated from different phases:

(1) During the low-level data acquisition , noises could come from instrumental errors;

在低水平数据获取阶段，噪音的四个产生途径可能来自仪器误差；

(2) at the data level , noises may be caused by the differences of data storage and representation;

在数据获取阶段，会由于数据存储和表示的不同而产生噪音；

(3) at the feature level , noises are usually generated by the imprecise modelings;

在特征水平上，噪音通常由不精确的建模产生；

(4) there may exist instance-level noises as well, i.e. , irrelevant data points.

还可能存在实例级 噪音，即不相关的数据点。

But is noise always harmful?    NO!

1.2 Examples

下面有两个例子证明了噪声不总是对图像有负作用的：

1. Traffic noises. 声学任务领域汽车噪音的影响，因为汽车噪音 in the morning rush hour and midnight are clearly different, which can provide coarse information about time. 在大多数声学识别任务中，汽车噪声是由于接收效果不理想而产生的附加信号。然而，对于时间相关的任务，汽车噪音提供了额外的有益信息。

2. Gum example. 在墙上的口香糖和钉子本来都是一种噪音，但口香糖可以帮忙去除钉子，也就是说一种噪音可以帮忙去除另一种噪音。

1.3 Conclusion

所以人们意识到了噪音不总是mislead the target task in all cases，进而对噪音展开了研究。

根据任务熵的定义，将常规定义的噪声分为两类。一种是降低任务复杂度的噪声，即正激励噪声(pi噪声或π噪声)。另一种是对任务无用的噪声，即纯噪声。

2. POSITIVE-INCENTIVE NOISE

2.1 信息论的动机

对噪声的严格讨论应该基于任务，在讨论任务和噪声之间的关系之前，如何在数学上测量任务T是第一个关键问题。借助信息论，可以定义T的熵来表示T的复杂度。从形式上讲，H(T)越小意味着任务越简单。

下面定义任务T与噪声的互信