简历信息提取（五）：用VI-LayoutXLM提升关键信息抽取效果

最新推荐文章于 2023-09-23 08:48:42 发布
最新推荐文章于 2023-09-23 08:48:42 发布
阅读量2.4k 收藏 24
点赞数 2
文章标签： python 深度学习 开发语言
原文链接：https://aistudio.baidu.com/aistudio/projectdetail/5449182?forkThirdPart=1
版权

★★★ 本文源自AI Studio社区精品项目，【点击此处】查看更多精品内容 >>>

0 项目背景

信息抽取任务旨在从非结构化的自然语言文本中提取结构化信息。在本系列项目中，将讨论如何又好又快地实现一个简历信息提取任务。

在前面的项目中，基本上都是以PaddleNLP为主导，进行简历信息抽取。

不过，随着PaddleOCR功能的愈发完善，或许可以换个思路，增加OCR能力在简历信息抽取中扮演的角色，提升识别效果，这就是从本项目起，我们试图实现的方案。

0.1 参考资料

1 数据集和环境准备

# 解压缩数据集
!unzip data/data40148/train_20200121.zip

# 安装依赖库
!pip install python-docx
!pip install pypinyin
!pip install LAC
!pip install --upgrade paddlenlp
!pip install --upgrade paddleocr
!pip install pymupdf
# 首次更新完以后，重启后方能生效

import datetime
import os
import fitz  # fitz就是pip install PyMuPDF
import cv2
import shutil
import numpy as np
import pandas as pd
from tqdm import tqdm
import json

!git clone https://gitee.com/paddlepaddle/PaddleOCR.git

正克隆到 'PaddleOCR'...
remote: Enumerating objects: 45329, done.[K
remote: Counting objects: 100% (19708/19708), done.[K
remote: Compressing objects: 100% (7075/7075), done.[K
remote: Total 45329 (delta 14389), reused 17603 (delta 12496), pack-reused 25621[K
接收对象中: 100% (45329/45329), 335.43 MiB | 20.84 MiB/s, 完成.
处理 delta 中: 100% (32250/32250), 完成.
检查连接... 完成。

2 思路介绍

简历信息提取是一种典型的关键信息抽取 (Key Information Extraction, KIE)任务，要从文本或者图像中，抽取出关键的信息。

一般的KIE方法基于命名实体识别(Named Entity Recognition,NER)来展开研究，这也是我们在前置项目中，探索的主要方向。但是此类方法仅使用了文本信息而忽略了位置与视觉特征信息，因此精度受限。近几年大多学者开始融合多个模态的输入信息，进行特征融合，并对多模态信息进行处理，从而提升KIE的精度。主要方法有以下几种：

  • （1）基于Grid的方法：此类方法主要关注图像层面多模态信息的融合，文本大多大多为字符粒度，对文本与结构结构信息的嵌入方式较为简单，如Chargrid等算法。
  • （2）基于Token的方法：此类方法参考NLP中的BERT等方法，将位置、视觉等特征信息共同编码到多模态模型中，并且在大规模数据集上进行预训练，从而在下游任务中，仅需要少量的标注数据便可以获得很好的效果。如LayoutLM, LayoutLMv2, LayoutXLM, StrucText等算法。
  • （3）基于GCN的方法：此类方法尝试学习图像、文字之间的结构信息，从而可以解决开集信息抽取的问题（训练集中没有见过的模板），如GCN、SDMGR等算法。
  • （4）基于End-to-end的方法：此类方法将现有的OCR文字识别以及KIE信息抽取2个任务放在一个统一的网络中进行共同学习，并在学习过程中相互加强。如Trie等算法。

PaddleOCR中实现了LayoutXLM等算法（基于Token），同时，在PP-StructureV2中，对LayoutXLM多模态预训练模型的网络结构进行简化，去除了其中的Visual backbone部分，设计了视觉无关的VI-LayoutXLM模型，同时引入符合人类阅读顺序的排序逻辑以及UDML知识蒸馏策略，最终同时提升了关键信息抽取模型的精度与推理速度。

在本文中，我们就准备直接使用PaddleOCR提供的预训练模型，完成简历关键信息抽取任务。

3 准备预训练模型

在PaddleOCR中，已支持的关键信息抽取算法列表如下：

在XFUND_zh公开数据集上，算法效果如下：

模型骨干网络任务hmean
VI-LayoutXLMVI-LayoutXLM-baseSER93.19%
LayoutXLMLayoutXLM-baseSER90.38%
LayoutLMLayoutLM-baseSER77.31%
LayoutLMv2LayoutLMv2-baseSER85.44%
VI-LayoutXLMVI-LayoutXLM-baseRE83.92%
LayoutXLMLayoutXLM-baseRE74.83%
LayoutLMv2LayoutLMv2-baseRE67.77%

3.1 KIE模型介绍

对于识别得到的文字进行关键信息抽取，有2种主要的方法。

（1）直接使用SER，获取关键信息的类别：如身份证场景中，将“姓名“与”张三“分别标记为name_key与name_value。最终识别得到的类别为name_value对应的文本字段即为我们所需要的关键信息。

（2）联合SER与RE进行使用：这种方法中，首先使用SER，获取图像文字内容中所有的key与value，然后使用RE方法，对所有的key与value进行配对，找到映射关系，从而完成关键信息的抽取。

3.2 关于XFUND数据集

XFUND数据集是微软提出的一个用于KIE任务的多语言数据集，它包含7种不同语种的表单数据，并且全部用人工进行了键-值对形式的标注。其中每个语种的数据都包含了199张表单数据，并分为149张训练集以及50张测试集。

下载地址：Release XFUND v1.0 · doc-analysis/XFUND 读者也可以在AI Studio的数据集中搜索到。其中文表单数据具体情况如下：

langsplitheaderquestionanswerothertotal
ZHtraining4413,2662,8088967,411
testing1221,0778213122,332

查看该数据集的标注信息可以发现，类似姓名、出生日期、籍贯、地址等表单数据常见内容，该数据集都有涉及。

因此，直接使用基于PaddleOCR提供的、在XFUND_zh公开数据集上表现良好的VI-LayoutXLM部署模型，用于简历基本信息的抽取，看来有一定的可行性。

3.3 VI-LayoutXLM部署模型准备

VI-LayoutXLM基于LayoutXLM进行改进，在下游任务训练过程中，去除视觉骨干网络模块，最终精度基本无损的情况下，模型推理速度进一步提升。

在XFUND_zh数据集上，算法复现效果如下：

模型骨干网络任务配置文件hmean下载链接
VI-LayoutXLMVI-LayoutXLM-baseSERser_vi_layoutxlm_xfund_zh_udml.yml93.19%训练模型/推理模型
VI-LayoutXLMVI-LayoutXLM-baseREre_vi_layoutxlm_xfund_zh_udml.yml83.92%训练模型/推理模型
!wget https://paddleocr.bj.bcebos.com/ppstructure/models/vi_layoutxlm/ser_vi_layoutxlm_xfund_infer.tar

!wget https://paddleocr.bj.bcebos.com/ppstructure/models/vi_layoutxlm/re_vi_layoutxlm_xfund_infer.tar

--2023-01-29 17:43:26--  https://paddleocr.bj.bcebos.com/ppstructure/models/vi_layoutxlm/re_vi_layoutxlm_xfund_infer.tar
正在解析主机 paddleocr.bj.bcebos.com (paddleocr.bj.bcebos.com)... 182.61.200.229, 182.61.200.195, 2409:8c04:1001:1002:0:ff:b001:368a
正在连接 paddleocr.bj.bcebos.com (paddleocr.bj.bcebos.com)|182.61.200.229|:443... 已连接。
已发出 HTTP 请求，正在等待回应... 200 OK
长度： 1133332480 (1.1G) [application/x-tar]
正在保存至: “re_vi_layoutxlm_xfund_infer.tar”

re_vi_layoutxlm_xfu 100%[===================>]   1.05G  36.7MB/s    in 31s     

2023-01-29 17:43:57 (35.3 MB/s) - 已保存 “re_vi_layoutxlm_xfund_infer.tar” [1133332480/1133332480])

!tar -xvf re_vi_layoutxlm_xfund_infer.tar -C ./PaddleOCR/

re_vi_layoutxlm_xfund_infer/
re_vi_layoutxlm_xfund_infer/inference.pdmodel
re_vi_layoutxlm_xfund_infer/inference.pdiparams
re_vi_layoutxlm_xfund_infer/inference.pdiparams.info

!tar -xvf ser_vi_layoutxlm_xfund_infer.tar -C ./PaddleOCR/

ser_vi_layoutxlm_xfund_infer/
ser_vi_layoutxlm_xfund_infer/inference.pdiparams.info
ser_vi_layoutxlm_xfund_infer/inference.pdiparams
ser_vi_layoutxlm_xfund_infer/inference.pdmodel

# 准备XFUND数据集，这里主要是为了获得字典文件class_list_xfun.txt
!mkdir ./PaddleOCR/train_data
!wget https://paddleocr.bj.bcebos.com/ppstructure/dataset/XFUND.tar
!tar -xf XFUND.tar -C ./PaddleOCR/train_data/

--2023-01-29 16:40:29--  https://paddleocr.bj.bcebos.com/ppstructure/dataset/XFUND.tar
Resolving paddleocr.bj.bcebos.com (paddleocr.bj.bcebos.com)... 182.61.200.229, 182.61.200.195, 2409:8c04:1001:1002:0:ff:b001:368a
Connecting to paddleocr.bj.bcebos.com (paddleocr.bj.bcebos.com)|182.61.200.229|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 266224297 (254M) [application/x-tar]
Saving to: ‘XFUND.tar’

XFUND.tar           100%[===================>] 253.89M  36.2MB/s    in 7.5s    

2023-01-29 16:40:36 (33.7 MB/s) - ‘XFUND.tar’ saved [266224297/266224297]

3.4 VI-LayoutXLM预测效果分析

%cd PaddleOCR/ppstructure

/home/aistudio/PaddleOCR/ppstructure

SER预测效果：基本上所有key和value都能识别出来，但是question/answer的判定有的地方还不够准确。

!python kie/predict_kie_token_ser.py \
  --kie_algorithm=LayoutXLM \
  --ser_model_dir=../ser_vi_layoutxlm_xfund_infer \
  --image_dir=../../temp.jpeg \
  --ser_dict_path=../train_data/XFUND/class_list_xfun.txt \
  --vis_font_path=../doc/fonts/simfang.ttf \
  --ocr_order_method="tb-yx"

[32m[2023-01-30 12:13:21,226] [    INFO][0m - Already cached /home/aistudio/.paddlenlp/models/layoutxlm-base-uncased/sentencepiece.bpe.model[0m
[32m[2023-01-30 12:13:21,806] [    INFO][0m - tokenizer config file saved in /home/aistudio/.paddlenlp/models/layoutxlm-base-uncased/tokenizer_config.json[0m
[32m[2023-01-30 12:13:21,807] [    INFO][0m - Special tokens file saved in /home/aistudio/.paddlenlp/models/layoutxlm-base-uncased/special_tokens_map.json[0m
[2023/01/30 12:13:27] ppocr INFO: save vis result to ./output/temp.jpeg
[2023/01/30 12:13:27] ppocr INFO: Predict time of ../../temp.jpeg: 0.029108285903930664

SER + RE预测效果，显然输出的信息在key-value的匹配上还需要进行一些调整，对照的信息错误较多。

!python kie/predict_kie_token_ser_re.py \
  --kie_algorithm=LayoutXLM \
  --re_model_dir=../re_vi_layoutxlm_xfund_infer \
  --ser_model_dir=../ser_vi_layoutxlm_xfund_infer \
  --use_visual_backbone=False \
  --image_dir=../../temp.jpeg \
  --ser_dict_path=../train_data/XFUND/class_list_xfun.txt \
  --vis_font_path=../doc/fonts/simfang.ttf \
  --ocr_order_method="tb-yx"

[32m[2023-01-29 17:45:21,766] [    INFO][0m - Already cached /home/aistudio/.paddlenlp/models/layoutxlm-base-uncased/sentencepiece.bpe.model[0m
[32m[2023-01-29 17:45:22,463] [    INFO][0m - tokenizer config file saved in /home/aistudio/.paddlenlp/models/layoutxlm-base-uncased/tokenizer_config.json[0m
[32m[2023-01-29 17:45:22,464] [    INFO][0m - Special tokens file saved in /home/aistudio/.paddlenlp/models/layoutxlm-base-uncased/special_tokens_map.json[0m
[2023/01/29 17:45:33] ppocr INFO: save vis result to ./output/temp_ser_re.jpg
[2023/01/29 17:45:33] ppocr INFO: Predict time of ../../temp.jpeg: 2.472132444381714
[0m

从测试简历图片的的关键信息抽取效果看，SER整体还是可以的，但SER + RE差距就比较大了。

其实也不难理解，因为尽管XFUND是典型的表单数据集，但是训练数据也就百余张图片，标注内容与我们在简历中需要提取的关键信息也不完全一致。

接下来，自然就出现了两种优化方法：

  • 提取SER输出的文本信息，组合后回到PaddleNLP.Taskflow中，进行关键信息抽取
  • 重新标注数据，进行SER+RE微调

本项目中，我们先采用第一种优化方法，快速提取简历关键信息。

也许读者还有些疑问，前置项目简历信息提取（二）：HR救星！用UIE Taskflow快速完成简历信息批量抽取中，最后一种处理方式不就是OCR + NLP么，第一种优化方法，本质上也是OCR + NLP，折腾了一圈，有什么不同？

那是因为，VI-LayoutXLM SER，基于与简历文件形式特别接近的表单数据集重新进行了微调，在版面分析上的效果，与OCR的默认文本检测模型相比，还是有比较大提升的。这对于准备输入Taskflow API的文本而言，提升是很明显的。

4 SER + Taskflow简历批量信息抽取

4.1 SER输出结果的文本拼接

SER预测结果默认保存到输出文件目录的infer.txt文件中，从代码最小改造的角度看，既然这个文件已经包括了我们想要的文本信息，就把输出修改为纯json格式，再次读取该文件进行文本拼接即可。

!cp ~/predict_kie_token_ser_1.py kie/predict_kie_token_ser.py

PaddleOCR/ppstructure/kie/predict_kie_token_ser.py关键代码调整：

res_str = '{}\n'.format(
    json.dumps(
        {
            "ocr_info": ser_res,
        }, ensure_ascii=False))
f_w.write(res_str)

!python kie/predict_kie_token_ser.py \
  --kie_algorithm=LayoutXLM \
  --ser_model_dir=../ser_vi_layoutxlm_xfund_infer \
  --image_dir=../../temp.jpeg \
  --ser_dict_path=../train_data/XFUND/class_list_xfun.txt \
  --vis_font_path=../doc/fonts/simfang.ttf \
  --ocr_order_method="tb-yx"

[2023-01-30 14:54:38,632] [    INFO] - Already cached /home/aistudio/.paddlenlp/models/layoutxlm-base-uncased/sentencepiece.bpe.model
[2023-01-30 14:54:39,326] [    INFO] - tokenizer config file saved in /home/aistudio/.paddlenlp/models/layoutxlm-base-uncased/tokenizer_config.json
[2023-01-30 14:54:39,327] [    INFO] - Special tokens file saved in /home/aistudio/.paddlenlp/models/layoutxlm-base-uncased/special_tokens_map.json
[2023/01/30 14:54:45] ppocr INFO: save vis result to ./output/temp.jpeg
[2023/01/30 14:54:45] ppocr INFO: Predict time of ../../temp.jpeg: 0.029132604598999023

with open('./output/infer.txt') as f:
    data = json.load(f)

res = []
for i in range(len(data['ocr_info'])):
    res.append(data['ocr_info'][i]['transcription'])
# 拼接时不要添加分隔符，taskflow会自动分词
res = ''.join(res)

from pprint import pprint
from paddlenlp import Taskflow
# 选定一些HR关注的基本信息
schema = ['姓名', '出生日期', '电话', '性别', '最高学历', '籍贯', '政治面貌', '毕业院校', '学位', '毕业时间', '工作时间']
ie = Taskflow('information_extraction', schema=schema)

[2023-01-30 14:55:21,972] [    INFO] - We are using <class 'paddlenlp.transformers.ernie.tokenizer.ErnieTokenizer'> to load '/home/aistudio/.paddlenlp/taskflow/information_extraction/uie-base'.

pprint(ie(res)) 

[{'出生日期': [{'end': 19,
            'probability': 0.9952766075540538,
            'start': 11,
            'text': '1922. 09'}],
  '姓名': [{'end': 4, 'probability': 0.99853872245383, 'start': 2, 'text': '史谦'}],
  '学位': [{'end': 115,
          'probability': 0.507645663226608,
          'start': 110,
          'text': '高中／硕士'}],
  '工作时间': [{'end': 256,
            'probability': 0.46099927334273616,
            'start': 239,
            'text': '1992年07月-2012年08月'},
           {'end': 537,
            'probability': 0.47518266090926886,
            'start': 520,
            'text': '2002. 09-2017. 02'}],
  '性别': [{'end': 7,
          'probability': 0.9323432009985488,
          'start': 6,
          'text': '男'}],
  '毕业时间': [{'end': 88,
            'probability': 0.5018500184772172,
            'start': 72,
            'text': '2002.10－ 2006.10'}],
  '毕业院校': [{'end': 104,
            'probability': 0.585296516651681,
            'start': 93,
            'text': '北京市西城经济科学大学'}],
  '电话': [{'end': 38,
          'probability': 0.8479164555647429,
          'start': 27,
          'text': '15107165317'}],
  '籍贯': [{'end': 46,
          'probability': 0.805421910140236,
          'start': 40,
          'text': '山东省烟台市'}]}]

4.2 批量信息抽取实现

下面我们把整个批量抽取过程串起来。首先是准备图片格式的简历文件。

4.2.1 图片格式简历文件准备

%cd ~

/home/aistudio

def get_pic_info(path):
    # 将整理后的抽取结果返回为字典
    if os.path.splitext(path)[-1]=='.pdf':
        pdfDoc = fitz.open(path)
        for pg in range(pdfDoc.page_count):
            page = pdfDoc[pg]
            rotate = int(0)
            zoom_x = 4  # (1.33333333-->1056x816)   (2-->1584x1224)
            zoom_y = 4
            mat = fitz.Matrix(zoom_x, zoom_y).prerotate(rotate)
            pix = page.get_pixmap(matrix=mat, alpha=False)
            # 保存过渡图片
            pix.save(path[:-4] + '_%s.jpeg' % pg) 

def get_pics(path):
    filenames = os.listdir(path)
    result = []
    for filename in tqdm(filenames):
        get_pic_info(os.path.join(path,filename))

# 将简历文档转换为图片格式
result = get_pics('resume_train_20200121/pdf')

!mkdir 'resume_train_20200121/imgs'
!mv resume_train_20200121/pdf/*.jpeg resume_train_20200121/imgs/

4.2.2 批量信息提取

这里要对原有的推理脚本做比较大幅度的变更，关键代码如下：

    with open(
            os.path.join(args.output, 'infer.txt'), mode='w',
            encoding='utf-8') as f_w:
        pre_img_name = ''
        res = []
        for image_file in image_file_list:
            img, flag, _ = check_and_read(image_file)
            if not flag:
                img = cv2.imread(image_file)
                img = img[:, :, ::-1]
            if img is None:
                logger.info("error in loading image:{}".format(image_file))
                continue
            ser_res, _, elapse = ser_predictor(img)
            ser_res = ser_res[0]
            # 如果是同一份简历，不换行，反之，换行
            if os.path.split(image_file)[1][:-7] == pre_img_name:
                for item in ser_res:
                    res.append(item['transcription'])
                res1 = ''.join(res)                
                res_str = '{}'.format(
                res1, ensure_ascii=False)
            else:
                res = []
                for item in ser_res:
                    res.append(item['transcription'])
                res1 = ''.join(res)
                
                res_str = '{}\n'.format(
                    res1, ensure_ascii=False)
            f_w.write(res_str)
            # 记录图片文件名，用于后续比较是否同一份简历
            pre_img_name = os.path.split(image_file)[1][:-7]
            # 为节省推理时间，绘图部分可以略去
            # img_res = draw_ser_results(
            #     image_file,
            #     ser_res,
            #     font_path=args.vis_font_path, )

            # img_save_path = os.path.join(args.output,
            #                              os.path.basename(image_file))
            # cv2.imwrite(img_save_path, img_res)
            # logger.info("save vis result to {}".format(img_save_path))
            # if count > 0:
            #     total_time += elapse
            # count += 1
            # logger.info("Predict time of {}: {}".format(image_file, elapse))

%cd PaddleOCR/ppstructure

/home/aistudio/PaddleOCR/ppstructure

!cp ~/predict_kie_token_ser_2.py kie/predict_kie_token_ser.py

!python kie/predict_kie_token_ser.py \
  --kie_algorithm=LayoutXLM \
  --ser_model_dir=../ser_vi_layoutxlm_xfund_infer \
  --use_visual_backbone=False \
  --image_dir=/home/aistudio/resume_train_20200121/imgs/ \
  --ser_dict_path=../train_data/XFUND/class_list_xfun.txt \
  --vis_font_path=../doc/fonts/simfang.ttf \
  --ocr_order_method="tb-yx"

[2023-01-30 15:44:23,565] [    INFO] - Already cached /home/aistudio/.paddlenlp/models/layoutxlm-base-uncased/sentencepiece.bpe.model
[2023-01-30 15:44:24,226] [    INFO] - tokenizer config file saved in /home/aistudio/.paddlenlp/models/layoutxlm-base-uncased/tokenizer_config.json
[2023-01-30 15:44:24,227] [    INFO] - Special tokens file saved in /home/aistudio/.paddlenlp/models/layoutxlm-base-uncased/special_tokens_map.json

from pprint import pprint
from paddlenlp import Taskflow
# 选定一些HR关注的基本信息
schema = ['姓名', '出生日期', '电话', '性别', '最高学历', '籍贯', '政治面貌', '毕业院校', '学位', '毕业时间', '工作时间']
ie = Taskflow('information_extraction', schema=schema)

with open('./output/infer.txt') as f:
    result = []
    # Get next line from file
    for line in tqdm(f.readlines()):
        schema_dict = {}
        a = ie(line)
        for i in schema:
            if i in a[0]:
                schema_dict[i] = a[0][i][0]['text']
                # 查看抽取信息
                # print(a[0][i][0]['text'])
            else:
                schema_dict[i] = ''
        result.append(schema_dict)

100%|██████████| 111/111 [02:18<00:00,  1.25s/it]
        schema_dict[i] = ''
    result.append(schema_dict)


    100%|██████████| 111/111 [02:18<00:00,  1.25s/it]



```python
result_pd = pd.DataFrame(result)

result_pd.head()
姓名出生日期电话性别最高学历籍贯政治面貌毕业院校学位毕业时间工作时间
0项磊航1962.0913603700486女大专辽宁省铁岭市中国致公党北京石油化工学院大专2008.09-2012.091992/12-2011/02
1姚舒1962.0915605892818硕士学位甘肃省陇南市中央戏剧学院硕士1962.092002/10-2017/09
2卜君1948.101380353742390 后学士学位上海市北京化工大学2000.04-2004.041990年07月
3何岚姣1935.091500671899390 后博士学位黑龙江省鸡西市中央财经大学图书情报与档案管理2013.08-2017.082009.07-2015.04
4强彪女高中高中2007/04-2018/05
result_pd.to_excel('简历信息.xlsx')

可以发现，简历信息抽取的完整程度，与同样只用预训练模型的前置项目简历信息提取（二）：HR救星！用UIE Taskflow快速完成简历信息批量抽取相比，已经提高了不少。

4 小结

在本项目中，我们使用PaddleOCR提供的VI-LayoutXLM预训练模型，结合PaddleNLP Taskflow API，进一步提升了图片格式的简历文件批量信息提取的效果。

我们发现，引入版面分析技术后，图片格式简历文件内容提取文本的完整性、连贯性都有大幅提升，而且不像word文档提取结果，有大量的多余文字干扰。从而提升了下游实体识别的效果。接下来我们将基于这些处理后的文本内容进行模型微调，进一步提升简历关键信息抽取效果。

AI Studio
关注
  • 2
    点赞
  • 踩
  • 24
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
【精华】OCR关键信息提取之SER和RE
LeeZhao的博客
04-12 2443
键信息抽取在文档场景中被广泛使用，如身份证中的姓名、住址信息抽取，快递单中的姓名、联系方式等关键字段内容的抽取。
[paddocr]ppstructure关键信息抽取
最新发布
futureflsl的博客
06-24 760
关键信息抽取 (Key Information Extraction, KIE)指的是是从文本或者图像中，抽取出关键的信息。针对文档图像的关键信息抽取任务作为OCR的下游任务，存在非常多的实际应用场景，如表单识别、车票信息抽取、身份证信息抽取等。PP-Structure 基于 LayoutXLM 文档多模态系列方法进行研究与优化，设计了视觉特征无关的多模态模型结构VI-LayoutXLM，同时引入符合阅读顺序的文本行排序方法以及UDML联合互学习蒸馏方法，最终在精度与速度均超越LayoutXLM。集成。
简历关键数据提取器
03-25
简历关键数据提取器 批处理代码 setlocal enabledelayedexpansion ::echo. >p.txt ::取目录名 for %%i in ("%cd%") do set person=%%~ni echo name age name2 id mail phone >%person%.txt cd. >p.txt for /f "tokens=1,2 delims= " %%i in ('dir/b 51*.txt') do ( set t=%%i echo t=!t! call echo %%t%% echo t2=!t! for /f "tokens=1-4 delims=_." %%i in ("!t!") do ( echo %%j echo %%k set name=%%j echo %%j >>p.txt set age=%%k echo %%k >>p.txt for /f "tokens=1-3 delims=^" %%i in ('findstr name !t!') do ( echo %%i echo %%j set name2=%%j echo %%j >>p.txt ) for /f "tokens=1-4 delims=^" %%i in ('findstr id !t!') do ( echo %%k set id=%%k echo %%k >>p.txt ) for /f "tokens=1-3 delims=^" %%i in ('findstr mailto !t!') do ( echo %%i echo %%j set mail=%%j echo %%j >>p.txt ) for /f "tokens=1-3 delims=: " %%i in ('findstr phone !t!') do ( echo %%i echo %%j set phone=%%j echo %%j >>p.txt echo !name! !age! !name2! !id! !mail! !phone! >>%person%.txt ) ) ping /n 1 127.1 >nul rem pause ) exit 0 51job_张三_3.txt name= mailto: iphone: 123132132 age: 3
简历信息提取（三）：用VI-LayoutXLM提升关键信息抽取效果
datayx的文章
02-22 1333
向AI转型的程序员都关注了这个号????????????0 项目背景信息抽取任务旨在从非结构化的自然语言文本中提取结构化信息。在本系列项目中，将讨论如何又好又快地实现一个简历信息提取任务。在前面的项目中，基本上都是以PaddleNLP为主导，进行简历信息抽取。不过，随着PaddleOCR功能的愈发完善，或许可以换个思路，增加OCR能力在简历信息抽取中扮演的角色，提升识别效果，这就是从本项目起，我们试图实现的方案。简...
【PaddleOCR-kie】关键信息抽取1：使用VI-LayoutXLM模型推理预测（SER+RE）
z5z5z5z56的博客
03-06 8113
使用PaddleOCR中的kie关键信息抽取功能
简历信息提取（六）：基于VI-LayoutXLM识别结果的微调训练和部署
m0_63642362的博客
02-12 1440
基于原简历数据集的标注，对PP-Structure中关键信息抽取VI-LayoutXLM模型SER识别结果进行微调训练，并部署简历图片关键信息抽取应用。
【论文笔记】LayoutXLM: Multimodal Pre-training for Multilingual Visually-rich Document Understanding
OneYearIsEnough的博客
05-28 928
文档信息抽取模型LayoutXLM
VI_ORB_SLAM2:基于ORB-SLAM2的MonocularStereo视觉惯性ORB-SLAM
05-14
有关详细信息，您可以参考Examples/Monocular/mono_euroc_VI.cc和Examples/Stereo/stereo_euroc_VI.cc 。 我修复了一些错误，以使其更稳定地传递更多的数据集并修改代码以使其与兼容。 并非没有错误。 不是实时的。...
vi-mock:基于yod-mock的数据生成器工具
05-09
var vi = require ( 'vi-mock' ) ; 生成一个字符串： vi . string ( ) ; 产生一个数字： vi . number ( ) ; 产生一个布尔值： vi . boolean ( ) ; 生成一个简单的数组： vi . array ( 'string' , 1 ) ; vi ...
keyvi：Keyvi-键值索引。 它是基于内存FST的数据结构，针对大小和查找性能进行了高度优化
01-30
Keyvi-“键值索引”的简称，是针对大小和查找速度进行优化的键值存储（KVS）。 共享内存的使用使其具有可伸缩性和抵抗力。 与其他存储最大的不同是基于的基础数据结构。 存储空间效率高，速度快，并且通过设计可以...
pyresparser：一个简单的简历解析器，用于从简历中提取信息
02-03
除草剂 A simple resume parser used for extracting information from resumes 内置:red_heart:︎和 :hot_beverage: 通过 产品特点 提取名称 提取电子邮件 提取手机号码 提取技巧 提取总经验 提取大学名称 提取度 提取物名称 提取公司名称 安装 您可以使用以下方法安装该软件包 pip install pyresparser 对于NLP操作，我们使用spacy和nltk。 使用以下命令安装它们： # spaCy python -m spacy download en_core_web_sm # nltk python -m nltk.downloa
uwc-vi-backend-semifinal:uwc-vi-后端半决赛
07-10
或者直接使用 VirtualBox： vagrant up --provider virtualbox （如果应用程序未在配置阶段启动）： vagrant ssh nvm use 0.10 cd /vagrant node index.js 默认情况下，可以通过访问应用程序。 如有任何问题，...
hmm模型matlab代码-vi-HMM:vi-HMM
05-27
hmm模型matlab代码vi-HMM 概述 我们的方法是用MATLAB编码的。 这是一种通过隐马尔可夫模型（HMM）查找SNP和Indel的新方法。 该模型将读取的比对（具有Phred + 33编码质量得分的SAM文件）和参考基因组（FASTA文件）...
身份证识别，关键信息抽取，详细过程一步到位
knowledge112233的博客
09-23 3083
本项目基于Docker容器，后续模型部署需有Docker环境提示：以下是本篇文章正文内容，下面案例可供参考深度学习模型已经在OCR领域，包括文本检测和文本识别任务，获得了巨大的成功。而关键信息提取技术，作为OCR的下游任务，存在非常多的实际应用场景。使用人力来从这些文档中提取信息，是重复且费时费力的。如何通过深度学习模型来从文档图片中自动化地提取出关键信息成为一项亟待解决的挑战，受到学术界和工业界的广泛关注。关键信息提取（KIE）是指从文本或图像中提取关键信息。
PaddleNLP之UIE信息抽取小样本进阶(二)[含doccano详解]
m0_63642362的博客
07-31 5148
PaddleNLP通用信息抽取技术UIE--小样本快速提升性能（doccona）标注
【Paddle打比赛】基于PaddleNLP的LAIC2022-小样本多任务学习
m0_63642362的博客
10-30 495
【Paddle打比赛】基于PaddleNLP的LAIC2022-小样本多任务学习，本文通过数据处理，AutoTokenizer进行训练，对司法文本进行分类，并抽取命名实体，最终第五名。
炸裂！PDF转Word彻底告别收费时代，这个OCR开源项目要逆天！
阿木寺的博客
10-24 2165
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达1.导读随着企业数字化进程不断加速，PDF转Word的功能、纸质文本的电子化存储、文件复原与二次编辑、信息检索等应用都有着强烈的企业需求。目前市面上已有一些软件，但普遍需要繁琐的安装注册操作，大多还存在额度限制。此外，最终转换效果也依赖于版面形态，无法做到针对性适配。针对开发者的需求，飞桨文字识别套件PaddleOCR全新发布PP...
通用多语言OCR自动检测识别
m0_63642362的博客
10-25 2527
根据语种分类模型与PaddleOCR中的多语言模型，构建一套多语言识别系统
关键要素信息提取paddleocr
08-26
关键要素信息提取是指从文本或图像中提取出重要的关键信息。PaddleOCR是一个基于PaddlePaddle深度学习平台的OCR工具。它可以用于文字识别和关键要素信息提取任务。PaddleOCR通过训练深度学习模型来实现文字识别功能，并使用文本拼接技术将提取出的文字信息进行整合和组织。你可以在PaddlePaddle的GitHub仓库中找到更多关于PaddleOCR的信息和使用示例。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [简历信息提取（三）：用VI-LayoutXLM提升关键信息抽取效果](https://blog.csdn.net/demm868/article/details/129173401)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *3* [OCR+NLP 提取信息并分析，这个开源项目火了！](https://blog.csdn.net/bjweimengshu/article/details/121005436)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值