向AI转型的程序员都关注了这个号👇👇👇
机器学习AI算法工程 公众号:datayx
论文地址
LGPMA: Complicated Table Structure Recognition with Local and Global Pyramid Mask Alignment (ICDAR 2021).
https://arxiv.org/pdf/2105.06224.pdf
项目代码,模型,数据集 获取方式:
关注微信公众号 datayx 然后回复 表格识别 即可获取。
表格本身是按照人设定的规则来展示数据,具有很强的对齐特性,如果能够得到对齐很好的表格单元格的边框,那么还原表格的结构就非常容易了,因此重点就是如何获得更好的对齐的单元格边框。
LGPMA采用HRNet-W48 Cascade Mask RCNN作为backbone,图像经过CNN提取特征后分成两路,一路类似于Mask RCNN的形式用来检测非空单元格叫LPMA(因为是单元格粒度,所以是局部的),LPMA中又分为3个头,一个头是将单元格中的文本区域分割出来,另外两个头用来学习单元格的水平对齐和垂直对齐的soft mask;另一路叫GPMA(因为是整张图的粒度,所以是全局的),也分为3个头,一个头用来学习整图的二分类mask(单元格区域和非单元格区域),另两个头在全局学习整张图上的非空单元格的水平和垂直对齐的soft mask。在得到两路soft mask后,用一个mask re-scoring的方式将LPMA和GPMA的对齐mask融合,之后对每个单元格边框进行进一步精修。
接下来是对单元格的后处理得到表格结构的过程。分为cell matching,empty cell searching和empty cell merging三个步骤得到最终的表格结构。
提供了一个在PubTabNet数据集上训练的模型。
表格识别效果
机器学习算法AI大数据技术
搜索公众号添加: datanlp
长按图片,识别二维码
阅读过本文的人还看了以下文章:
基于40万表格数据集TableBank,用MaskRCNN做表格检测
《深度学习入门:基于Python的理论与实现》高清中文PDF+源码
2019最新《PyTorch自然语言处理》英、中文版PDF+源码
《21个项目玩转深度学习:基于TensorFlow的实践详解》完整版PDF+附书代码
PyTorch深度学习快速实战入门《pytorch-handbook》
【下载】豆瓣评分8.1,《机器学习实战:基于Scikit-Learn和TensorFlow》
李沐大神开源《动手学深度学习》,加州伯克利深度学习(2019春)教材
【Keras】完整实现‘交通标志’分类、‘票据’分类两个项目,让你掌握深度学习图像分类
如何利用全新的决策树集成级联结构gcForest做特征工程并打分?
Machine Learning Yearning 中文翻译稿
斯坦福CS230官方指南:CNN、RNN及使用技巧速查(打印收藏)
中科院Kaggle全球文本匹配竞赛华人第1名团队-深度学习与特征工程
不断更新资源
深度学习、机器学习、数据分析、python
搜索公众号添加: datayx