VALSE 2024 workshop 面向终端的AI图像增强

黄大年茶思屋 (chaspark.com)

一、业界难题

主要是伪纹理、偏色和轻量化等。

二、学术界分享

1. 多相机和多曝的AI图像增强研究

多相机、多传感器增强

采用自监督的方式

长曝光和短曝光可以互相补偿，短曝噪声可能比较多，长曝光可能运动会有blur。

静止的时候可以用这个公式做，但是运动的时候呢？

底层视觉任务有一定的监督信息，但是不完全，不太能用全监督。

2. 面向图像视频复原的判别性自注意力机制方法

图像梯度衡量了两个相邻像素之间的关系，但是考虑信息比较小。

FOV

卷积作为局部特征提取的工具，平移不变性和局部感受野。

Q,K,V刻画非局部的信息。

自注意力机制其实和05年的non-local means一脉相承，就是衡量某个patch和其他patch的相关关系。

自注意力机制就是深度特征空间里的non-local means。

低通滤波

自注意力是一个特殊的低通滤波器。

问题出在归一化方式？

引入top K的机制。替换softmax为ReLU。

融合了标准自注意力机制和稀疏自注意力机制。

简单地来说，就是使用有用的token信息，而去掉无用的token信息。

3. AI-ISP

通过重参数化来更好拟合高频信息？

4. 基于RAW数据的图像增强和应用

8位sRGB数据

例如极暗光下偏紫。

人类对绿色的感知会比较强RGGB。

5. 面向移动中断的极暗光图像增强