SciTSR 表结构识别数据集指南

严千旗

于 2024-08-15 09:19:18 发布

阅读量753

点赞数 20

本文链接：https://blog.csdn.net/gitblog_00172/article/details/141207701

版权

SciTSR 表结构识别数据集指南

SciTSR项目地址:https://gitcode.com/gh_mirrors/sc/SciTSR

一、项目介绍

SciTSR (Scientific Table Structure Recognition) 是一个大规模的表结构识别数据集，包含了来自LaTeX源文件的15,000个PDF格式表格及其对应的结构标签。此数据集旨在推进复杂表格识别领域的研究，特别是在学术文献中常见的表格结构分析。

下载链接: SciTSR 数据集。
数据规模: 总共包括15,000个示例，其中12,000用于训练，3,000用于测试。此外，还提供了一个仅含复杂表格的测试集，称为“SciTSR-COMP”。

二、项目快速启动

要开始使用SciTSR进行实验，首先通过以下步骤克隆仓库并安装必要的依赖：

克隆SciTSR仓库

git clone https://github.com/Academic-Hammer/SciTSR.git
cd SciTSR

安装依赖

确保您已安装Python以及必要的库，如numpy、pandas等。具体依赖可查看requirements.txt并在您的环境中安装：

pip install -r requirements.txt

查看数据集

浏览目录以了解数据组织方式:

tree .

该命令将显示数据集中pdf, structure, img 和 chunk 等子目录的内容，分别存储PDF文件、结构标签、图像转换后的输入以及由Tabby处理的提取块。

三、应用案例和最佳实践

SciTSR不仅提供了大量的数据支持，还附带了GraphTSR模型的预构建关系标签，这对于开发复杂的表格解析器非常有用。下面是如何在实践中使用这些资源的一些建议：

利用提供的标签: 训练你的模型时，可以考虑使用structure目录中的标签来增强算法的学习能力。
图像输入预处理: 使用由pdfcairo转换成图像格式的数据（位于img目录），这有助于加快处理速度并减少内存占用。
模型性能评估: 在test目录下使用预留的3,000个测试样本对模型进行验证，特别是那些复杂表格。

示例代码片段

加载和可视化第一个训练表格的结构标签：

import os
from PIL import Image
import json

# Load JSON structure label
with open(os.path.join('train', 'structure', 'table_0.json')) as f:
    structure = json.load(f)

# Display the first table's image
Image.open(os.path.join('train', 'img', 'table_0.jpg')).show()