亚马逊云科技-机器学习减少人工操作更快处理文档GenAI

亚马逊云科技-机器学习GenAI减少人工操作更快处理文档

关键字: [yt, Amazon Textract, Intelligent Document Processing, Machine Learning Processing, Process Documents Scale, Extract Data Documents, Reduce Manual Efforts]

本文字数: 400, 阅读完需: 2 分钟

导读

在这个演示中,Andrea Morton Yeomans和Raj探讨了亚马逊云科技服务(如Amazon Textract、Amazon Comprehend和Amazon Augmented AI)如何实现智能文档处理。他们具体阐释了Amazon Textract可以自动从文档中提取文本和数据,Amazon Comprehend可以理解情绪并识别文本中的实体,而Amazon A2I则允许人工审查AI输出。该演示重点介绍了这些服务如何减少人工工作、加快文档处理速度并改善业务成果,并演示了如何使用Amazon Textract处理发票和收据。

演讲精华

以下是小编为您整理的本次演讲的精华，共100字，阅读时间大约是0分钟。

在当今时代,文档处理已经成为许多组织面临的一大挑战。根据研究公司Gartner的数据,每年纸质文档的增长率高达25%,这意味着大量新文档的产生。这些文档的类型、格式和布局各不相同,有些包含密集的文本内容,如法律合同;有些则是文本和表格混合,如发票和收据;还有一些则主要由表格构成。这种多样性使得大规模处理文档变得异常困难,因为每份文档的外观都不尽相同。

传统上,组织会雇佣人员阅读和理解文档内容,然后将相关信息输入到系统中进行进一步处理和分析。这种手动操作不仅缓慢且容易出错,而且成本高昂。例如,房地产公司往往需要花费大量时间从申请文档中提取申请人姓名等信息,并将其输入系统,导致最终用户遭受延迟。某些用户在办理房屋重新融资时,就亲身体会到了这一过程中大量文档带来的低效率,他们提到那份抵押贷款文件包含了大量的纸质文件。

此外,传统公司一直在使用光学字符识别(OCR)技术,但这种技术需要针对每种布局进行配置,一旦文档布局发生变化,就会导致系统失效。客户面临的另一个常见问题是理解文档内容,他们通常需要将不同的技术(如自然语言处理和OCR)串联起来,才能完成文档处理。

为了解决这些挑战,亚马逊云科技(亚马逊云科技)提供了一套机器学习服务,旨在将人工智能技术置于每一位开发者的手中。其中,Amazon Textract服务可以自动从任何文档中提取文本和数据,不仅能够提取简单文本,还能够提取表格和表单中的信息。Textract目前支持6种语言,包括德语、法语、葡萄牙语、西班牙语、意大利语和英语手写体识别,并且可以处理英语发票和收据。

Amazon Comprehend则是一种自然语言处理服务,利用机器学习来发现非结构化数据中的信息。Comprehend能够理解文本情感,识别个人身份信息,或者使用自定义命名实体识别来帮助识别文档中特定的实体。在文档处理领域,客户通常希望从文档中提取与自身业务相关的专有信息,这就可以利用Comprehend的自定义功能来实现。

最后,Amazon Augmented AI(A2I)是一种人机协作服务,允许人工审查Textract或Comprehend的输出。在金融服务和医疗保健等高度监管的行业中,客户往往会添加人工审查环节,以检查这些服务的输出,确保符合行业合规性要求。

客户可以单独使用上述任一服务,也可以将它们组合使用,亚马逊云科技都能为客户提供强大的文档处理能力,从而减少人工操作、降低成本并改善业务效果。

为了演示亚马逊云科技在文档处理领域的实际应用,某人进行了一场关于如何使用Amazon Textract处理发票和收据的深入演示。他设置了这样一个场景:假设你是一名开发人员,公司要求你自动从文档中提取特定数据,并标记出任何金额超过50美元的文档,以便进行额外审批。这种需求源自于公司的内部政策,即员工报销超过50美元的费用时,需要由特定部门审批。

作为开发人员,你首先需要了解文档格式和准确性要求,然后确定是否需要使用机器学习技术。你会询问文档是否为模板格式,或者所需信息是否位于文档的特定区域,还是分布在整个文档中。接下来,你会寻找开源的图像到文本转换解决方案,并确定是否需要提取文档中的语义关系,如姓名、地址等键值对信息。

在网上搜索后,你发现亚马逊云科技提供了Amazon Textract服务,可以解决这一问题。该人随后展示了如何使用Textract处理发票和收据的实际操作流程。

首先,你需要创建输入和输出的S3存储桶。然后,使用Amazon EventBridge监听S3上传对象事件。一旦有新文档上传到输入存储桶,EventBridge就会触发一个Amazon Lambda函数,该函数会调用Amazon Textract的分析费用API来处理图像文档。处理完成后,输出结果会保存到输出S3存储桶中。

该人使用Amazon CloudFormation模板快速部署了这一解决方案,并上传了两份示例文档进行测试。在输出存储桶中,我们可以看到Textract已经成功处理了这两份文档,并以JSON格式输出了关键信息。以一份Whole Foods Market的收据为例,Textract提取出了供应商名称”Whole Fools Market”、净销售额53.98美元、售出商品13件、小计金额(标准化为”Subtotal”)、总计金额55.64美元以及税费金额。

值得注意的是,Textract不仅能够提取这些信息,还会对它们进行规范化处理。例如,不同供应商可能使用”发票号”、“发票#”、“发票编号”等不同术语表示同一个概念,但Textract会将它们统一规范为”发票号”。这一规范化功能可以减轻开发人员的后期处理工作。

Textract还能够识别文档中的表格结构,并以易读的格式输出表格中的数据。在示例中,Textract成功提取了购买商品的明细列表。

除了将输出保存到S3存储桶之外,开发人员还可以根据自身需求,将Textract的输出与Web应用程序、移动应用程序、数据库或消息队列等其他系统集成,实现更多功能。例如,如果有一个Web应用程序或移动应用程序允许客户或员工上传收据快照,这些图像就可以存储在S3存储桶中,并由Textract进行处理。处理结果可以存储在数据库中作为键值对,或者通过SNS主题发送电子邮件通知相关人员。

该人的演示充分展现了Amazon Textract在处理发票和收据方面的强大功能,能够自动提取关键信息、规范化字段名称,并以结构化的格式输出结果,极大地减少了人工操作。对于原始场景中需要标记金额超过50美元的文档,Textract可以准确提取总计金额,开发人员只需在此基础上构建逻辑即可完成任务。

在演示结束后,Andrea进一步阐述了亚马逊云科技在智能文档处理领域的整体解决方案。她强调,亚马逊云科技的使命是将机器学习技术置于每一位开发者的手中,并提供了一个分层的机器学习服务栈。在这个栈的顶层,亚马逊云科技提供了多种无需机器学习经验即可使用的AI服务,包括自然语言处理、计算机视觉、聊天机器人等。

Andrea解释说,虽然文档处理看似简单,但实际上是一个复杂的问题,因为每种文档和用例都需要不同的处理流程。因此,亚马逊云科技为智能文档处理提供了三大核心服务:Amazon Textract、Amazon Comprehend和Amazon Augmented AI(A2I)。

Andrea已经介绍过Textract和Comprehend的功能,她补充说A2I服务允许人工审查Textract和Comprehend的输出,这在金融服务和医疗保健等高度监管行业中尤为重要,可以确保输出结果符合合规性要求。

客户可以单独使用上述任一服务,也可以将它们组合使用,亚马逊云科技都能为客户提供强大的文档处理能力,从而减少人工操作、降低成本并提高业务效益。

最后,Andrea为希望开始使用亚马逊云科技进行智能文档处理的客户提供了四种入手方式:1)使用亚马逊云科技文档理解解决方案运行概念验证(POC),这是一个预构建的解决方案,结合了Textract、Comprehend、A2I和Amazon Kendra(智能搜索服务)等多种服务;2)与亚马逊云科技解决方案架构师合作,根据具体业务需求和预期效果制定最佳解决方案;3)与亚马逊云科技专业服务团队合作,他们可以帮助估算成本、实施POC,并最终将解决方案投入生产环境;4)与亚马逊云科技销售和客户经理团队接洽,了解更多信息。

除此之外,亚马逊云科技网站上还提供了大量博客和资源,客户可以自行查阅,了解更多关于智能文档处理的信息和最佳实践。

总的来说,这场技术讨论全面介绍了亚马逊云科技在智能文档处理领域的解决方案和服务,并通过Amazon Textract处理发票和收据的实际演示,展现了亚马逊云科技在减少人工操作、提高文档处理效率方面的卓越能力。无论是初创公司还是大型企业,亚马逊云科技都能为他们提供强有力的支持,助力他们抓住机器学习和人工智能带来的巨大机遇。

总结

每日产生的数十亿份文档格式和布局各异,人工处理难度极高。传统的光学字符识别(OCR)技术通常基于模板,一旦布局发生变化便会出现错误和延迟。

亚马逊云科技Textract服务能够自动从文档(包括表格、表单和手写文本)中提取文本、数据和信息,支持多种语言,并能规范化数据字段,从而更容易处理来自不同来源的文档。

Amazon Comprehend是一种自然语言处理服务,能够理解情感、识别实体,并从非结构化数据中提取特定信息,使客户能够处理专有或定制数据。

Amazon Augmented AI (A2I)允许人工审查Textract和Comprehend的输出,对于金融和医疗保健等高度监管的行业尤为有用。

通过结合这些服务,亚马逊云科技为智能文档处理提供了一种强大的解决方案,可降低成本、减少人工工作,并改善业务效果。该演讲还概述了各种入门方式,包括运行概念验证、与亚马逊云科技解决方案架构师、专业服务或合作伙伴接洽,以及利用可用的资源,如博客和文档。

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务，服务全球245个国家和地区的数百万客户。亚马逊云科技致力于成为企业构建和应用生成式AI的首选，通过生成式AI技术栈，提供用于模型训练和推理的基础设施服务、构建生成式AI应用的大模型等工具、以及开箱即用的生成式AI应用。深耕本地、链接全球 – 在中国，亚马逊云科技通过安全、稳定、可信赖的云服务，助力中国企业加速数字化转型和创新，并深度参与全球化市场。