DocLayNet: 开源文档布局分析数据集
DocLayNet 是一个由 DS4SD 开发的大型人类标注文档布局分割数据集。该项目主要使用 Python 编程语言实现。
核心功能
DocLayNet 提供了 80863 页来自不同文档来源的页面,每一页都经过专家级的人工标注,具有以下核心功能:
- 提供了详细的布局分割地面真实数据,包括 11 个不同的类别标签。
- 包含来自金融、科学、法规、招标、法律文本和手册等六个文档类别的多样化复杂布局。
- 部分页面进行了重复标注,可以估计标注不确定性和机器学习模型可达到的上限预测准确性。
- 提供了预定义的训练集、验证集和测试集,确保了类别标签的比例表示,并避免了唯一布局风格在不同集合之间的泄漏。
最近更新功能
最近更新的功能主要包括:
- 在 Hugging Face 上提供了数据集,方便用户直接加载和使用。
- 发布了数据集的使用指南,帮助标注专家进行训练。
- 数据集结构中增加了 PNG 图像、边界框注释、单个页面的 PDF 文件以及与 PDF 页面匹配的 JSON 文件,其中 JSON 文件提供了数字文本单元格的坐标和内容。
- COCO 格式的注释中增加了自定义字段,以允许数据子选择并提供来源证明。
以上更新进一步增强了 DocLayNet 的可用性和功能性,为文档布局分析领域的研究和应用提供了有力的支持。