简历信息提取二:PaddleNLP完成简历信息抽取

最新推荐文章于 2025-03-27 23:05:40 发布
最新推荐文章于 2025-03-27 23:05:40 发布
阅读量5.3k 收藏 66
点赞数 7
原文链接：https://mp.weixin.qq.com/s?__biz=MzA4MTk3ODI2OA==&mid=2650356431&idx=1&sn=e86b8eb1845ecb8abbfd8ae96b1ab9af&chksm=87812c3cb0f6a52a79c2bfd02241ea0f1080ebda99116a2c2ac623b432c3e2b9030978d6aff5&scene=126&sessionid=0
版权

fcf3d5d2475b755376d64364d91685e2.gif

向AI转型的程序员都关注了这个号👇👇👇

0 项目背景

信息抽取任务旨在从非结构化的自然语言文本中提取结构化信息。在本系列项目中，将讨论如何又好又快地实现一个简历信息提取任务。

作为该系列文章的第二篇，我们将通过paddlenlp.Taskflow提供的文本及文档通用信息抽取能力，实现开箱即用的简历信息抽取。

简历信息提取（一）：PDFPlumber和PP-Structure

1 一键实体抽取

实体抽取，又称命名实体识别（Named Entity Recognition，简称NER），是指识别文本中具有特定意义的实体。在简历信息抽取任务中，用户可以自己定义实体类别，如姓名、出生日期、电话等。

我们可以使用PaddleNLP Taskflow API提供的开箱即用、适配多场景的开放域通用信息抽取工具Taskflow("information_extraction")，一键完成简历中常用实体信息的抽取。

代码地址:

关注微信公众号 datayx  然后回复 简历  即可获取。

f9e71cb8f292e1f3bfa4469d2096adc9.png

1496e100ecc6cf29b797ad89fef487f5.png

e39d35b074a08ea20a755247a49f46ca.png

60e32178295144b52586b3c53c2bca24.png

198782f3dacd451274cacb4b5c012bf9.png

5db864901002f78667bcaf4573402298.png

d2481a77b79a007172904104cb64e38c.png

513fa3527493f118121f7804f2811349.png

1.3 Taskflow API文档抽取

2023.1.12发布的PaddleNLP v2.5在产业信息抽取应用上的一个重大更新，就是发布文档信息抽取UIE-X，也就是说，Taskflow API支持的输入格式，不再只是文本内容，也可以是图片了。这对我们做简历信息抽取可是个好消息——如果我们收到的简历是扫描件、图片或者模板花里胡哨的文档，这下可以直接转为图片送给Taskflow API看看效果了，PaddleNLP已经贴心的帮我们把PaddleOCR集成好了！9739a9bef6e447e6d12ab66959613d74.jpeg

923c76ab3ca0977abc628b8770e317e0.png

5123342fd077015d012c6ef16d39c349.png

ac8ccb0f25cdc3d16026d60b38a0e46d.png

7d66cbc4ef23667664a7fcfd4bfed9ce.jpeg

cce1cab732affb8d51642649e97b33c2.png

2 批量处理

实际业务中，公司的HR往往要面对堆积如山的简历，业务上显然没办法接受一个个文件进行实体抽取的，想要让AI成为HR筛选简历的得力小帮手，我们还需要对输出结果进行组织。在项目中，结合数据集的实际情况，我们设计的简历批量信息抽取思路如下：

  • 首先用户需要将简历文件按格式（word，pdf）分别放置在对应目录下

  • word格式的简历通过Taskflow API文本信息抽取得到实体信息

  • pdf或者图片格式的简历统一整理为jpeg格式，然后通过Taskflow API文档信息抽取得到实体信息

  • 将文件名、实体信息逐行存入excel文件中，便于HR做后续的人工补充和筛选工作

6f54023144a0e470ff12d96a48d0faa7.png

2.1 word格式简历批量信息抽取

准备一个统一的简历信息抽取结果处理脚本，将Taskflow API提取的信息进一步按照schema进行归类。

72b84b6ea85b8b8082679f22d82c7f22.png

a990db764c4e5f1688b49ec1ad280f9b.png

39e3df32b593bb5313c164d162d46563.png

55a8de0e6aacb8184c0128503784c852.png

b36f669c300b9609702f9eb029504af4.png

2.2 PDF/图片格式简历批量信息抽取

下面我们再看看图片格式的信息抽取，整体的思路虽然大同小异，但是这里有个地方稍微复杂一些，就是要多一步判断下，目录里的文件是pdf还是jpeg格式。

另一方面，涉及到多页的pdf，每页信息都要试着提取下。

9bda7acb2216f2c77938ee86c819bfa9.png

63540e2eb57ab57ae7f2b88485893242.png

e3ca376bf2836f4391d16e6fcd2929d8.png

b6ed735bd193bf3e5ee6db532a5ab4d9.png

e98277b8d542bc5af0a33acc604c5594.png

我们可以看到，即使是通过图片转换后再进行实体信息抽取，得到的简历信息还是挺完整的。看来，有PaddleNLP这个好帮手，到招聘季，HR们可以省下好多力气了！78e4dcc9924efb6eb6a2e9a7ed04b16e.jpeg

377b95e4c83e50df42a514dc02343a6d.png

3 小结

在本项目中，我们使用PaddleNLP开放域信息抽取工具UIE Taskflow，开发了一个可以对Word、PDF、图片格式的简历文件进行批量信息提取的工具，生成的结果可直接供企业HR进行直接补充、筛选和加工。

当然，我们也可以发现，直接用现有的预训练模型，抽取结果还有不少缺失。在后续的项目中，我们尝试将基于项目使用的数据集，用PaddleNLP迁移学习，训练一个精度更高的简历信息抽取模型，并将其在线部署。

机器学习算法AI大数据技术
 搜索公众号添加： datanlp

长按图片，识别二维码
阅读过本文的人还看了以下文章：
TensorFlow 2.0深度学习案例实战

基于40万表格数据集TableBank，用MaskRCNN做表格检测

《基于深度学习的自然语言处理》中/英PDF

Deep Learning 中文版初版-周志华团队

【全套视频课】最全的目标检测算法系列讲解，通俗易懂！

《美团机器学习实践》_美团算法团队.pdf

《深度学习入门：基于Python的理论与实现》高清中文PDF+源码

《深度学习：基于Keras的Python实践》PDF和代码

特征提取与图像处理(第二版).pdf

python就业班学习视频，从入门到实战项目

2019最新《PyTorch自然语言处理》英、中文版PDF+源码
《21个项目玩转深度学习：基于TensorFlow的实践详解》完整版PDF+附书代码

《深度学习之pytorch》pdf+附书源码

PyTorch深度学习快速实战入门《pytorch-handbook》

【下载】豆瓣评分8.1,《机器学习实战:基于Scikit-Learn和TensorFlow》

《Python数据分析与挖掘实战》PDF+完整源码

汽车行业完整知识图谱项目实战视频(全23课)

李沐大神开源《动手学深度学习》，加州伯克利深度学习（2019春）教材

笔记、代码清晰易懂！李航《统计学习方法》最新资源全套！
《神经网络与深度学习》最新2018版中英PDF+源码

将机器学习模型部署为REST API
FashionAI服装属性标签图像识别Top1-5方案分享

重要开源！CNN-RNN-CTC 实现手写汉字识别

yolo3 检测出图像中的不规则汉字
同样是机器学习算法工程师，你的面试为什么过不了？

前海征信大数据算法：风险概率预测

【Keras】完整实现‘交通标志’分类、‘票据’分类两个项目，让你掌握深度学习图像分类

VGG16迁移学习，实现医学图像识别分类工程项目
特征工程(一)

特征工程(二) :文本数据的展开、过滤和分块

特征工程(三):特征缩放,从词袋到 TF-IDF

特征工程(四): 类别特征

特征工程(五): PCA 降维

特征工程(六): 非线性特征提取和模型堆叠

特征工程(七)：图像特征提取和深度学习

如何利用全新的决策树集成级联结构gcForest做特征工程并打分？

Machine Learning Yearning 中文翻译稿
蚂蚁金服2018秋招-算法工程师（共四面）通过

全球AI挑战-场景分类的比赛源码(多模型融合)

斯坦福CS230官方指南：CNN、RNN及使用技巧速查（打印收藏）

python+flask搭建CNN在线识别手写中文网站
中科院Kaggle全球文本匹配竞赛华人第1名团队-深度学习与特征工程
不断更新资源
深度学习、机器学习、数据分析、python
 搜索公众号添加： datayx
datayx
关注
基于PaddleNLP的简历信息抽取完整代码
HnrzLinux的博客
09-26 449
简历信息抽取是一项重要的自然语言处理任务，它可以从给定的简历文本中提取出关键信息，如姓名、联系方式、教育背景、工作经历等。在本文中，我们将介绍如何使用PaddleNLP库来构建一个简历信息抽取模型，并提供完整的代码示例。以上就是基于PaddleNLP的简历信息抽取的完整代码。在这个代码示例中，我们使用了BERT模型和PaddleNLP库来构建简历信息抽取模型，并进行训练和评估。你可以根据自己的需求进行相应的修改和扩展。首先，我们需要安装PaddlePaddle和PaddleNLP库。
paddlenlp 和snownlp的简历信息抽取和人民日报信息抽取系统
05-16 162
paddlenlp 和snownlp的简历信息抽取和人民日报信息抽取系统
PaddleNLP实战——信息抽取（InfoExtraction）
qq_38638132的博客
12-06 8373
- 文章目录 -1. 信息抽取任务是什么？2 基于PaddleNLP的信息抽取任务2.1 训练任务概览2.2 Predicate列表2.3 SPO列表2.4 代码解析 1. 信息抽取任务是什么？ 在NLP任务中，通常当我们拿到一段文本时，我们希望机器去理解这段文本描述的是什么内容，进而完成一些特定的任务。 例如，现在有这么一句话： 今日，在玩家们的期待中，王者荣耀终于上架了李白的新皮肤——凤求凰。 这句话中具体描述了什么事件呢？人类一看就知道，哦，王者出了一款李白的新皮肤。 没错，这句话的核心就是「王者
Paddlenlp训练本地数据集
最新发布
zxcv25800的博客
03-27 1739
自然语言处理实现人机自然交互，借助文本自动化处理，大幅提升信息获取与交互效率；作为人工智能关键领域，它为高级智能任务筑牢基础，推动行业迈向智能化发展。今天我将用在网上下载的csldlp数据集来进行模型的训练。此模型在Paddlenlp中基于BERT模型进行改进，对于我这个初学者可以起到边学习边训练的作用，也可以增加对模型训练过程的了解。
简历信息提取（四）：文本抽取微调模型的部署应用
m0_63642362的博客
02-04 1071
对简历信息抽取模型微调训练结果进行评估，并实现在线部署。
信息抽取实战 基于 paddlenlp 的简历信息抽取实战 完整代码
05-26 787
信息抽取实战 基于 paddlenlp 的简历信息抽取实战 完整代码
简历信息提取算法-学习笔记（三）
weixin_42189651的博客
02-27 1121
本文是的AIStduio 简历解析系列文章的学习笔记。 NLP入门学习笔记
简历关键数据提取器
03-25
简历关键数据提取器 批处理代码 setlocal enabledelayedexpansion ::echo. >p.txt ::取目录名 for %%i in ("%cd%") do set person=%%~ni echo name age name2 id mail phone >%person%.txt cd. >p.txt for /f "tokens=1,2 delims= " %%i in ('dir/b 51*.txt') do ( set t=%%i echo t=!t! call echo %%t%% echo t2=!t! for /f "tokens=1-4 delims=_." %%i in ("!t!") do ( echo %%j echo %%k set name=%%j echo %%j >>p.txt set age=%%k echo %%k >>p.txt for /f "tokens=1-3 delims=^" %%i in ('findstr name !t!') do ( echo %%i echo %%j set name2=%%j echo %%j >>p.txt ) for /f "tokens=1-4 delims=^" %%i in ('findstr id !t!') do ( echo %%k set id=%%k echo %%k >>p.txt ) for /f "tokens=1-3 delims=^" %%i in ('findstr mailto !t!') do ( echo %%i echo %%j set mail=%%j echo %%j >>p.txt ) for /f "tokens=1-3 delims=: " %%i in ('findstr phone !t!') do ( echo %%i echo %%j set phone=%%j echo %%j >>p.txt echo !name! !age! !name2! !id! !mail! !phone! >>%person%.txt ) ) ping /n 1 127.1 >nul rem pause ) exit 0 51job_张三_3.txt name= mailto: iphone: 123132132 age: 3
简历信息提取（一）
m0_63642362的博客
11-15 8878
0 引言 信息抽取任务旨在从非结构化的自然语言文本中提取结构化信息。在本系列项目中，将讨论如何又好又快地实现一个简历信息提取任务。 作为该系列文章的第一篇，我们将首先从数据处理着手，探讨Word、PDF格式文档信息提取的一些基本方法。 数据集简介 本文使用的简历数据集是脱敏之后的中文人才简历数据和标注数据。 标注类别包括：姓名、出生年月、性别、电话、最高学历、籍贯、落户市县、政治面貌、毕业院校、工作单位、工作内容、职务、项目名称、项目责任、学位、毕业时间、工作时间、项目时间共18个字段。 在训练数据集中，每
简历信息提取（一）：PDFPlumber和PP-Structure
datayx的文章
02-20 2060
向AI转型的程序员都关注了这个号????????????0 引言信息抽取任务旨在从非结构化的自然语言文本中提取结构化信息。在本系列项目中，将讨论如何又好又快地实现一个简历信息提取任务。作为该系列文章的第一篇，我们将首先从数据处理着手，探讨Word、PDF格式文档信息提取的一些基本方法。数据集简介本文使用的简历数据集是脱敏之后的中文人才简历数据和标注数据。标注类别包括：姓名、出生年月、性别、电话、最高学历、籍贯、落户...
PaddleNLP信息抽取，uie微调打造自己专属的信息抽取模型
MAI44的博客
08-13 4520
Yaojie Lu等人在ACL-2022中提出了通用信息抽取统一框架UIE。该框架实现了实体抽取、关系抽取、事件抽取、情感分析等任务的统一建模，并使得不同任务间具备良好的迁移和泛化能力。为了方便大家使用UIE的强大能力，PaddleNLP借鉴该论文的方法，基于ERNIE 3.0知识增强预训练模型，训练并开源了首个中文通用信息抽取模型UIE。该模型可以支持不限定行业领域和抽取目标的关键信息抽取，实现零样本快速冷启动，并具备优秀的小样本微调能力，快速适配特定的抽取目标。
pyresparser：一个简单的简历解析器，用于从简历中提取信息
02-03
除草剂 A simple resume parser used for extracting information from resumes 内置:red_heart:︎和 :hot_beverage: 通过 产品特点 提取名称 提取电子邮件 提取手机号码 提取技巧 提取总经验 提取大学名称 提取度 提取物名称 提取公司名称 安装 您可以使用以下方法安装该软件包 pip install pyresparser 对于NLP操作，我们使用spacy和nltk。 使用以下命令安装它们： # spaCy python -m spacy download en_core_web_sm # nltk python -m nltk.downloa
基于深度学习的简历信息实体抽取方法.pdf
08-18
基于深度学习的简历信息实体抽取方法.pdf
(源码)基于PaddleNLP的通用和简历信息抽取系统.zip
03-23
# 基于PaddleNLP的通用和简历信息抽取系统 ## 项目简介 本项目是一个基于PaddleNLP的信息抽取系统，旨在从大量的文本数据中提取出有用的信息。系统包括两个主要部分简历信息抽取和通用信息抽取。简历信息抽取部分...
基于深度学习paddlenlp的简历信息抽取和人民日报信息抽取系统 可直接运行完整代码数据
05-16 948
基于深度学习paddlenlp的简历信息抽取和人民日报信息抽取系统 可直接运行完整代码数据
简历信息提取（三）：用VI-LayoutXLM提升关键信息抽取效果
datayx的文章
02-22 1657
向AI转型的程序员都关注了这个号????????????0 项目背景信息抽取任务旨在从非结构化的自然语言文本中提取结构化信息。在本系列项目中，将讨论如何又好又快地实现一个简历信息提取任务。在前面的项目中，基本上都是以PaddleNLP为主导，进行简历信息抽取。不过，随着PaddleOCR功能的愈发完善，或许可以换个思路，增加OCR能力在简历信息抽取中扮演的角色，提升识别效果，这就是从本项目起，我们试图实现的方案。简...
简历信息提取算法-学习笔记（二）
weixin_42189651的博客
02-27 1310
本文是的AIStduio 简历解析系列文章的学习笔记。 NLP入门学习笔记
简历信息提取（二）：HR救星！用UIE Taskflow快速完成简历信息批
m0_63642362的博客
02-03 3300
通过paddlenlp.Taskflow提供的文本及文档通用信息抽取能力，快速实现中文简历的批量信息抽取。
简历信息提取论文笔记Information Extraction from Resume Documents in PDF Format
专注“目标检测”领域技术分享
02-26 1156
从PDF格式的简历中提取信息。
通用信息抽取大模型PP-UIE
02-24
### 关于通用信息抽取大模型 PP-UIE #### 模型概述 PP-UIE 是一个强大的统一信息抽取框架，能够处理多种自然语言处理任务。该模型基于 PaddleNLP 平台开发，在多个下游任务上表现出色[^2]。 #### 功能特性 - **多模态支持**：不仅限于纯文本输入，还具备 OCR 和版面分析功能，适用于复杂场景下的文档理解。 - **高性能推理引擎**：兼容 CPU 及 Nvidia GPU 部署环境，并默认集成了 Paddle Inference、ONNX Runtime、OpenVINO 以及 TensorRT 推理后端，确保高效运行性能[^4]。 #### 安装与配置指南 为了使用 PP-UIE 进行模型微调并保存结果到特定位置，可以通过如下 Python 代码片段实现： ```python from paddlenlp import Taskflow # 初始化 UIE 模型实例 schema = ["时间", "地点"] # 自定义实体类别列表 ie = Taskflow("information_extraction", schema=schema, model="paddlenlp/PP-UIE-1.5B") # 微调过程中的超参数设置（此处仅为示意） training_args = { 'output_dir': './results', } # 执行微调操作并将最终版本存储起来 model.save_pretrained(training_args['output_dir']) ``` 上述脚本展示了如何加载预训练权重文件 `paddlenlp/PP-UIE-1.5B` 来初始化一个新的信息提取器对象；接着通过调整某些关键参数完成定制化需求；最后将经过优化后的网络结构及其对应的参数持久化至本地磁盘中以便后续应用或分享给其他开发者继续迭代改进。 #### 获取更多资源 对于希望深入了解 PP-UIE 或者尝试其最新扩展组件如 UIE-X 的研究人员来说，官方 GitHub 页面提供了详尽的技术文档和支持材料，涵盖了从基础概念讲解一直到高级应用场景实践等多个方面的内容[^3]。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值