一、什么是非结构化文档?
非结构化文档是指那些不遵循固定格式或模式的文档,它们包含的信息没有明确的组织结构,使得机器难以直接解析和理解。与结构化文档(如数据库、电子表格、JSON文件等)相比,非结构化文档通常包含自由形式的文本,可能还包括图像、声音和其他多媒体内容。以下是一些常见的非结构化文档类型:
·文本文件:如TXT、DOCX、PDF等格式,它们包含纯文本或格式化文本,但没有固定的数据字段。
·电子邮件:通常包含文本、附件、元数据等,但信息的组织方式不固定。
·网页:HTML文档,虽然有一定的结构,但内容的组织和呈现方式多样,且可能包含大量的非文本元素。
·社交媒体帖子:如推文、帖子等,它们包含用户生成的内容,格式自由,可能包括文本、图片、视频等。
·报告和论文:虽然可能有标题、摘要、正文和参考文献等部分,但内容的组织和格式可能因作者而异。
·法律文件:如合同、协议等,虽然有一定的法律结构,但具体的条款和表述方式可能各不相同。
·医疗记录:包含病人信息、诊断结果、治疗过程等,但记录方式可能因医生或医院而异。
·手写笔记:个人或会议的笔记,格式和内容组织完全取决于记录者。
·扫描文档:如扫描的发票、收据等,这些文档在数字化后保留了原始的布局和格式。
·多媒体内容:如图片、音频和视频文件,它们包含的信息需要通过特定的技术来提取和分析。
二、从非结构化文档中提取信息的关键是什么?
1.传统信息抽取技术的难点:
随着文本数据关系的日益复杂化,传统的信息抽取技术面临着诸多挑战。深度学习模型的训练往往需要大量的高质量标注的训练样本,依赖规则实现上下文对话,新样本如果变换了行文方式则将难以保证抽取效果,模型泛化能力不强,这就导致基于传统深度学习算法进行标注训练的方式成本非常高昂。主要有以下几个难点:
·模型泛化能力的局限:许多深度学习模型在训练数据上表现良好,但在未见过的新样本上表现不佳,这表明模型的泛化能力有限。如果新样本的行文方式或语言风格发生变化,模型可能无法准确抽取信息。
·上下文理解的复杂性:深度学习模型通常难以理解文本中的复杂上下文关系,如讽刺、双关语或隐喻。这导致模型在处理具有丰富内涵的文本时表现不佳。
·数据标注的难度高、成本大:高质量的标注数据是训练深度学习模型的关键。然而,获取这些数据需要大量的人工劳动,这不仅耗时而且成本高昂。特别是在专业领域,需要专业知识的标注者来确保数据的准确性。
2.主要涉及到的四项关键技术:
·文字识别:文字识别技术是将图像或扫描文档中的文字转换为可编辑的文本格式。这项技术对于处理非结构化文档至关重要,尤其是当文档是以图像形式存在时。OCR技术需要高精度以确保转换后的文本保持原始文档的准确性和完整性。
·文档解析:文档解析涉及将文档分解成可管理的部分,如标题、段落、列表等。这一步骤对于理解文档结构和组织信息至关重要。解析技术需要能够识别和区分不同类型的内容,如文本、表格、图表等,并为后续的文本处理和信息抽取做好准备。
·文档检索:文档检索技术允许用户通过关键词或短语快速找到相关的文档或文档中的特定部分。这项技术依赖于索引机制和搜索算法,以实现高效的信息检索。文档检索不仅需要快速响应用户查询,还需要能够处理模糊查询和同义词问题,以提供更准确和相关的搜索结果。
·文本生成:文本生成技术用于自动创建文本内容,如摘要、报告或回复。在非结构化文档处理中,文本生成可以用于生成文档的摘要,或者在信息抽取后自动填充模板生成报告。这项技术需要结合自然语言生成(NLG)和机器学习,以确保生成的文本流畅、准确并符合上下文。
这四项技术相互依赖,共同构成了非结构化文档信息提取的框架。
合合信息TextIn平台重磅上线智能文档抽取产品,依托合合信息自研的垂直领域语义模型,并结合了合合信息强大的文字识别、文档解析、文档检索和文本生成四项关键技术,让计算机模拟人类的推理方式,来识别在训练阶段从未见过的新事物,实现开箱即用的“零样本”抽取,让AI触手可及。
01.“开箱即用”
与以往通过标注训练实现文档结构化抽取不同,用户只需在TextIn智能文档抽取直接配置需要提取的关键字段。例如,发明专利证书中的发明名称、证书号、发明人、发明专利号、证书颁发时间、专利申请日等字段,模型可自动提取关键信息。
02.优秀的泛化性
TextIn智能文档抽取基于海量的基础数据做预训练,具备极强的泛化性。以医疗险理赔场景为例,传统标注训练的方式下,需针对每一种不同版式进行大量的样本标注及模型训练,但各家医院出具的住院病案、出入院小结等文档材料版式各不相同、无法穷尽,传统方式显然不可行,不仅标注训练的工作量极大,效果上也无法保证各类版式下的准确率。
合合信息全新上线的智能文档抽取模块具备强大的理解能力,可以兼容各家医院不同版式的住院材料,无需标注训练,开箱即用,即可达到精准的抽取效果。
03.准确理解复杂版面
非结构化文档抽取的瓶颈之一在于对文档复杂版面解析的准确性,例如文档中插入的各类复杂表格,对表格结构的准确还原是进行表格信息结构化抽取的前提。如下所示的机动车保单中,关于承保险种的明细项,是以一个非标准、横线缺失、且是双栏结构的复杂表格进行展示的,基于合合信息自研的版面分析引擎可以准确还原该区域的表结构,进而准确抽取到承保险种、保险金额、绝对免赔额、保险费四个表格字段。
04.“多模态”抽取能力
企业各类非标文档中,有双层PDF电子件、拍摄件、扫描件等不同格式的文件,文档中也可能包含手写体、印章、整表等不同类型的元素。如下所示的某制造企业内部结算申请所需各类单据中,相关人员签名是财务部门进行收入确认审核时需要重点关注的字段,在页面上配置“项目经理”、“保管员”字段,可以抽取到手写体签字信息。
05.兼顾长/短文本
TextIn智能文档抽取既支持单页的非标卡证、票据、表单,如海外invoice、国际信用证、电汇凭证、不动产权证等,也支持几十甚至上百页的长文档,如购销合同、借款合同、基金合同等。
06.具备通用及领域知识
数据量级是模型的地基,模型通过对文档资料的阅读和建模来吸收知识。合合信息通过对涵盖金融(研报、财报、公告、招股书等)、政务(公文、公告、规章制度、政府工作报告等)、法律(法律法规、法律文书等)等各行业高质量语料库的应用,使得语义模型既具备通识能力,也具备不同行业的专项领域知识。以下是一篇公司点评类研报的抽取结果,基于合合信息最新语义模型强大的理解能力,可以实现以往传统模型无法实现的抽取效果:
比如对于“年度”有2022、2023、2024;2022-2024;2022~2024;2022至2024等多种表述方式,传统的抽取模式只能基于穷举规则,一一对应年份,表述方式一旦变化就无法准确抽取。再如指标“PE”和“年份”的“距离”,PE离“2022-2024”已经非常远了,传统nlp无法理解这么长的上下文关系,但TextIn智能文档抽取可以准确推理出2023年的PE为50倍。
全文没有出现“股票代码”这个Key字段,但基于合合信息语义模型具备的通识+金融知识,可以准确推理出603605代表的是股票代码。