【论文速看】DL最新进展20241007-低光增强、图像生成

【低光增强】

[NeurlPS 2024] MambaLLIE: Implicit Retinex-Aware Low Light Enhancement with Global-then-Local State Space

论文链接：https://arxiv.org/pdf/2405.16105

代码链接：https://github.com/MambaLLIE/MambaLLIE

演示链接：https://mamballie.github.io/anon/

近期在低光图像增强方面的进展主要由基于Retinex的学习框架主导，这些框架利用了卷积神经网络（CNNs）和Transformers。然而，传统的Retinex理论主要解决全局光照退化问题，而忽视了在暗条件下的局部问题，如噪声和模糊。此外，由于其有限的接受场，CNNs和Transformers难以捕捉全局退化。尽管状态空间模型（SSMs）在长序列建模中显示出了潜力，但它们在结合视觉数据的局部不变性和全局上下文方面面临挑战。本文引入了MambaLLIE，这是一种隐式的、具有全局-局部状态空间设计的Retinex感知低光增强器。首先，提出了一个局部增强的状态空间模块（LESSM），该模块在一个二维选择性扫描机制内集成了一个增强的局部偏差，通过保持局部二维依赖性来增强原始SSMs。此外，一个**隐式Retinex感知选择核模块（IRSK）**使用空间变化操作动态选择特征，通过自适应核选择过程适应不同的输入。**全局-局部状态空间块（GLSSB）**将LESSM和IRSK与LayerNorm整合在一起作为其核心。这种设计使MambaLLIE能够实现全面的全局长距离建模和灵活的局部特征聚合。广泛的实验表明，MambaLLIE显著优于基于CNN和Transformer的最先进方法。

---

【图像生成】

[NeurlPS 2024 何凯明等] Autoregressive Image Generation without Vector Quantization

论文链接：https://arxiv.org/pdf/2406.11838

代码链接：https://github.com/LTH14/mar

传统观点认为，用于图像生成的自回归模型通常伴随着向量量化的token。作者观察到，尽管离散值空间可以方便地表示分类分布，但它并不是自回归建模的必需品。这项工作提出使用扩散过程来建模每个token的概率分布，这使我们能够在连续值空间中应用自回归模型。定义了一个扩散损失函数来建模每个token的概率，而不是使用分类交叉熵损失。这种方法消除了对离散值标记器的需求。在包括标准自回归模型和广义掩码自回归（MAR）变体在内的广泛案例中评估了其有效性。通过去除向量量化，图像生成器在享受序列建模的速度优势的同时取得了强大的结果。希望这项工作能够激发在其他连续值领域和应用中使用自回归生成的兴趣。

---