【论文+代码】PEBAL/Pixel-wise Energy-biased Abstention Learning for Anomaly Segmentation on Complex Urban

CSDN同步更新：http://t.csdn.cn/P0YGb
博客园同步更新：https://www.cnblogs.com/StarTwinkle/p/16571290.html

【初步理解，更新补充中…】

Github：https://github.com/tianyu0207/PEBAL

Article

---

Pixel-wise Energy-biased Abstention Learning for Anomaly Segmentation on Complex Urban Driving Scenes

复杂城市驾驶场景异常分割的像素级能量偏置弃权学习

---

@article{YuanhongChen2022PixelwiseEA,
  title={Pixel-wise Energy-biased Abstention Learning for Anomaly Segmentation on  Complex Urban Driving Scenes},
  author={Yuanhong Chen and Yu Tian and Yuyuan Liu and Guansong Pang and Fengbei Liu and Gustavo Carneiro},
  journal={arXiv: Computer Vision and Pattern Recognition},
  year={2022}
}

论文十问：

Q1论文试图解决什么问题？

复杂城市场景中，保证ID(in-distribution)对象分类准确前提下，准确识别出异常像素（OOD,Out-of-Distribution对象）

in-distribution: 分布内对象，训练时已知的对象
Out-of-Distribution: 异常对象，训练时未见过的对象

Q2这是否是一个新的问题？

之前已经有相关的研究，比如不确定度的方法和重建方法

Q3这篇文章要验证一个什么科学假设？

1. 自适应惩罚的放弃学习在像素集的异常检测中是有用的
2. 平滑性、稀疏性约束是有用的
3. 微调模型比重新训练效果更好

Q4有哪些相关研究？如何归类？谁是这一课题在领域内值得关注的研究员？

基于方法分类，比如：不确定度，重建

基于是否引入了异常像素进行分类，引入异常像素一般效果会比较好一些，但是也有一些缺点（如不可能引入真实世界的所有异常，可能会有危险）

Q5论文中提到的解决方案之关键是什么？

1. 将图像级的放弃学习应用到逐像素的异常检测上，采用自适应惩罚。
2. 微调模型，不重新训练

Q6论文中的实验是如何设计的？

在不同数据集上验证模型的整体性能。

消融实验证明AL，EBM以及这两个模块联合训练的有效性。

文章4.6节，选择了笔记本电脑等不可能在路上出现的物体、只选择一类异常进行训练，在Fishyscapes上仍达到了SOTA性能。这证明模型的稳健型，不需要仔细选择OE类，可以用于现实世界的自动驾驶系统。

Q7用于定量评估的数据集是什么？代码有没有开源？

1. LostAndFound
2. Fishyscapes
3. Road Anomaly

代码已经开源

Q8论文中的实验及结果有没有很好地支持需要验证的科学假设？

消融实验证明了每个模块的有效性和联合训练的有效性。

其他部分的实验结果也证明整体达到了SOTA性能

Q9这篇论文到底有什么贡献？

自适应惩罚放弃学习，能量模型，微调，平滑和稀疏约束

Q10下一步呢？有什么工作可以继续深入？

名词解释

Outlier Exposure（OE）：离群点暴露。引入异常数据集训练异常检测器

Energy Based Model（EBM）：能量模型。对于一个模型有一个定义好的能量函数E(x,y)，这个函数当y是x的输出时小，y不是x的输出时大。在本文中局内点（inlier）的能量小，离群点（outlier）的能量大。采用了logsumexp算子

LSE: $logsumexp(x{)}_i=log\sum _{j}exp(x_{ij})$ ，torch.logsumexp中采用了优化，避免了指数的上溢出或者下溢出

ECE：Expected Calibrated Error，预期校准误差。详情可见https://xishansnow.github.io/posts/144efbd1

ECE：最小化期望校准误差

Abstract

背景：SOTA的异常分割方法都是基于不确定性估计和重建。

uncertainty：

1. 直观
2. 假阳性，将正常像素检测为异常。某些hard-ID靠近分类边界
3. 假阴性，检测不出异常认为是正常像素。

reconstruction：

1. 依赖分割结果
2. 额外网络难以训练；效率低
3. input不同导致分割模型变化则需要重新训练，适用性不高

提出了新的方法：PEBAL = AL + EBM, 两个模块联合训练

AL, Abstention Learning. 放弃学习，放弃将像素分类为ID标签，而是划分为异常。
EBM, Energy-based Model. 异常像素具有高能量，正常像素具有低能量

Model

得到每像素的一个概率值
p θ ( y ∣ x ) w = e x p ( f θ ( y ; x ) w ) ∑ y ′ ∈ { 1 , . . . , Y + 1 } e x p ( f θ ( y ′ ; x ) w ) p_{\theta}(y|\text{x})_w = \frac{exp(f_{\theta}(y;\text{x})_w)}{\sum_{y' \in \{1,...,Y+1\}} exp(f_{\theta}(y';\text{x})_w)} pθ​(y∣x)w​=∑y′∈{ 1,...,Y+1}​exp(fθ​(y′;x)w​)exp(f