- 博客(4)
- 收藏
- 关注
RSS订阅原创 RegularizedVQ
将图像量化为离散表示一直是统一生成建模中的一个基本问题。主流的方法可以分为选择最佳匹配标记的确定性量化和从预测分布中抽样的随机量化。确定性量化存在严重的码本崩溃和推理阶段不对齐问题，而随机量化存在码本利用率较低和重建目标扰动问题。本文提出了一个正则化的向量量化框架，从两个角度有效缓解了上述问题。一是先验分布正则化，它通过度量先验token分布和预测的token分布之间的差异，以避免码本崩溃和低码本利用率的问题。
2024-06-27 17:37:04
904
原创 Compact Neural Volumetric Video Representations with Dynamic Codebooks解析
Dynamic Codebook
2024-05-29 20:51:18
1030
原创 VQCNIR解析
黑暗的环境和曝光使得夜间成像面临低光照和模糊的挑战。目前的夜间图像恢复方法要么忽略先验信息，直接利用端到端网络造成恢复结果中的inconsistent illumination，要么利用人工先验对网络进行约束，从而带来更大的误差。本文将利用码本（codebook）提供基于数据驱动的高质量先验。本文提出的VQCNIR可以在现实世界和合成数据上实现同样的效果，其包含两个基本模块：自适应照明增强模块（AIEM）和可变形双向交叉注意模块（DBCA）。
2024-05-08 20:45:27
966
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人