论文阅读笔记：DocUNet

0.摘要

1. 为了让文本检测和识别更加简单，通常会把一张弯曲的或折叠的文档图像数字化地展平成对应的平整图像
2. 本文率先提出了基于学习的方法来实现扭曲的文档图像复原成平整图像的方法
3. 本文提出的是一个带有“中间监督”的堆叠的 U-Net 模型，模型可以直接预测一个 mapping，这个 mapping 可以将扭曲的图像转换成对应的平整图像
4. 由于很难获取大量符合要求的训练图像，论文进而创造了一个含有 100k 张扭曲图像的合成数据集，这个数据集通过歪曲平整的图像而获得
5. 模型在训练的过程中用到了多种数据增强的方法，目的是提升模型的泛化能力
6. 论文同样创造一个含有 130 张图像的 benchmark，覆盖了现实中的多个场景
7. 论文在提出的 benchmark 上进行了定量与定性的评价，并且与前人提出的算法进行了对比实验

1.引言

1. 现实场景中的文档图像的特点：可能会出现弯曲、折叠或者褶皱，可能会处在一个比较复杂的背景中

2. 针对扭曲的图像进行数字化地展平是一件非常有必要的工作

3. 前人解决这个问题的方法：

   • 第1类：
     • 使用精心设计的精确校准的硬件设备
     • 使用结构光投影仪来测量 3D 失真
     • 特点是能够获得高质量的结果，但是硬件设备会对后续应用有所限制
   • 第2类：
     • 使用“多视图”图像来重构扭曲文档图像的 3D 外形
   • 第3类：
     • 基于多个手工挑选的低阶特征（光照、阴影或文本行）来分析单张图像

4. 论文提出了新颖的基于学习的方法来复原任意扭曲的和折叠的纸张文档图像，这些图像全部来自于现实场景

5. 论文提出的方法是第一个基于 CNN 的端到端的直接预测文档扭曲程度的方法

6. 经过实验证明，论文提出的方法十分高效，而且能够很好地泛化到其他类型的文档图像

7. 论文把扭曲图像复原的问题形式化成寻找合适的 2D 图像扭曲方式的问题

   网络预测一个 mapping field，mapping field 会降源图像中的像素映射至目标图像

   KaTeX parse error: \tag works only in display equations

8. 按照上述方式进行形式化表述之后，会与图像语义分割（每个像素设置一个 label）具有相似之处，而论文中的任务会为每个像素分配一个 2d 向量

9. backbone 使用性能出色的 U-Net

10. 论文中的任务是一个回归任务，因此设计了新的 loss function 来保证回归的有效性

11. 为了训练网络，需要获得大量不同程度扭曲的文档图像作为网络的输入，另外作为网络输入的还有对应的能导致更完美的复原的“变形”程度

12. 目前没有可用的训练数据，所以选择合成训练数据 100K，扰动图像是网络的输入，用于图像扭曲的网格是网络输出的逆变换

13. 目前没有全面的公开可用的 benchmark 来评价文档复原程度的优劣，因此论文创建了一个包含 130 张图像的 benchmark，benchmark 中包含很多种文档类型，扭曲的程度和类型以及拍摄条件

2.相关工作

略

3.数据集

1. 论文在 2D 空间中合成数据（简洁快速），合成数据集的优势在于能够保证文档图像的变形是完全可控的
2. 数据集的合成过程与网络的 inference 过程是互逆的
3. 在创建变形映射时遵循以下两点：
   • i） 显示场景中的纸张是局部刚性的，不会扩张和压缩。一点的变形会发生空间传递
   • ii） 文档存在两种形变：弯曲和折叠，现实场景中的褶皱是两种形变的混合
4. 扰动网格的生成：
   1. 给定图像$I$，论文在其上放置一个$m\ast n$的网格$M$为扭曲提供控制点。
   2. 在$M$上选择一个随机顶点$p$作为初始变形点。
   3. 变形的方向和强度标记为$v$，且$v$是随机生成的。
   4. 最后，基于 i），$v$通过权重$w$传播至其他顶点。扭曲网格上的顶点被计算为$p_i+wv,\forall i$。
   5. 其中$w=\frac{\alpha }{d+\alpha }$（折叠），$w=1-d^{\alpha }$，$\alpha$用于控制“变形”的传播范围，$d$是每个点到直线的标准化距离，直线由$p$和$v$唯一确定
5. 扰动图像的生成：
   1. 扰动网格提供一个稀疏的变形域，论文以线性方式对其进行插值，以从像素层面构建密集的扭曲图
   2. 接着把扭曲图应用到原始图像以生成扰动图像？？？（这一步是怎么生成的）
   3. 每张图像最多包含 19 种合成变形（30% 是弯曲，70% 是折叠）
   4. 弯曲需要保证高斯曲率在任意位置都应为 0，折叠则随意
6. 数据增强
   1. 使用来自 DTD 数据集中的多种文理图像作为文档图像的背景
   2. 在 HSV 色彩空间中添加抖动以控制图像的光照和颜色变化
   3. 对图片进行透视变换以改变图像的视角
   4. 数据增强显著的提升了模型的泛化能力

4.DocUNet

1. 网络结构
   1. 论文自行设计网络以强化逐像素的监督
   2. 选择 U-Net 作为基础模型，它是一个全卷积网络，包含一系列的下采样层和随后的上采样层，特征映射在上下采样层之间连接
   3. 单一 U-Net 的输出并不令人满意，因此在第一个 U-Net 的输出上堆叠另外一个 U-Net 作为 refiner
   4. 第二个 U-Net 网络中有一个层负责把去卷积特征转化为最后的输出$(x,y)$
   5. 第一个 U-Net 在最后一个去卷积层之后分叉为两支。把第一个 U-Net 的去卷积特征和中间预测$y_1$连接起来作为第二个 U-Net 的输入
   6. 第二个 U-Net 最后给出一个优化的预测$y_2$，论文将其用作网络的最后输出
   7. 论文在训练时把同一损失函数应用于$y_1$和$y_2$。但是在测试时，只把$y_2$用作网络的输出
   8. DocUNet 网络输出的计算是一个回归的过程，该网络为 (x, y) 坐标输出 2 个通道
2. 损失函数
   1. 损失函数分为两个部分：
      • 输出的映射$y$和其对应的 groundtruth 映射$y^{\ast }$之间的绝对误差（element-wise loss）
      • 输出的不同点的映射的相对位置$ y_1 - y_2$和它们对应的groundtruth映射相对位置$y_1^* - y_2^*$之间的相对误差（shift invarient loss）
   2. 公式详见原文

5.实验

略

6.结论

略

7.致谢

略