表格识别论文阅读——《Robust Table Detection and Structure Recognition from Heterogeneous Document Images》

摘要

引入了一种名为RobusTabNet的方法来进行表格检测和结构识别。对于表格检测，使用CornerNet来作为RPN。对于表格结构识别，提出了基于空间CNN的分割模块和基于Grid CNN的单元格合并模块，因此表格结构识别可以识别具有大空白空间的表格和扭曲的表格。

一、引言

随着文档数量的爆炸式增长，迫切需要自动表格检测技术从文档中重建表格以支持下游应用（信息检索/问答）->实际的应用场景中，表格结构样式复杂（无边界表、跨页表），内容复杂（表格、图像、公式），背景对象复杂（图形、流程图、结构布局文本），嵌套表格，图像质量差（失真、弯曲等）->现有的方法和问题

二、相关工作

三、方法

Overview

模型组成：表格检测器+表格提取器

步骤：1.表格检测器检测表格并从原始图像中裁切出来，调整为适当的分辨率

2.输入到表格结构识别器重建单元格结构

CornerNet-FRCN based table detector

使用cornnet作为FRCN的RPN

Split-and-merge based table structure recognizer

1.从原始图像中裁剪每个检测到的表格并调整大小确保有足够的行间距用于分离线预测

2.每个表格图像被input到表格结构识别器中。1）预测row separator mask和column separator mask 2）使用CCA从所有mask中提取行列分割线 3）使用grid cnn将错误拆分的单元为合并为跨单元 1）和3）共享同一个CNN主干网络

 

• 分隔线预测：

标出行列分隔线和文件行的边界框

行分隔线分别上下移动，列分隔线分别左右移动直到接触到被标记的非跨单元的文本框

获得分隔区域，确保每个分隔区域像素小于8

• 单元格生成：

二值化，提取连接分量

• 单元格合并：

四、Loss

五、实验

六、结论和未来工作