GROBID库文献解析

已于 2024-04-02 13:34:23 修改
阅读量1.6k 收藏 18
点赞数 26
文章标签： python docker nlp GROBID
于 2024-04-01 13:16:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wenhaochu321/article/details/137228032
版权
文章讲述了如何利用GROBID库，一个专为科技文献解析设计的机器学习工具，配合Docker在Windows系统上进行PDF文档的批量处理。作者详细介绍了Docker的安装、工作原理及其优势，以及如何在WSL2环境下安装GROBID并调用其API进行XML结构化文档生成。
摘要由CSDN通过智能技术生成

1. 起因

  • 由于某些原因需要在大量的文献中查找相关内容，手动实在是太慢了，所以选择了GROBID库进行文献批量解析

2. GROBID介绍

  • GROBID是一个机器学习库，用于将PDF等原始文档提取、解析和re-structuring为结构化的XML/TEI编码文档，特别关注技术和科学出版物。
  • 能够提取文献中的标题、文本、图表及参考文献等信息
  • GROBID目前仅支持Linux及macOS；windows系统需要通过docker调用

3. Docker安装

  • 已经安装docker请跳过这一步骤

3.1 Docker介绍[来自GPT]:

  • Docker 是一个开源的应用容器引擎，它允许开发者将应用程序与其环境一起打包（称作容器化），从而在任何支持Docker的环境中部署和运行。这项技术提供了一种简化的方法，可以将复杂的应用程序快速、一致地部署在不同的环境中——不管是在本地开发机器上，还是在外部的测试环境或云平台上。

3.1.1 Docker的主要组件：

  • Docker 引擎：负责创建、运行和管理容器的核心服务。
  • Docker 容器：运行应用程序的轻量级、独立的环境。容器在从图片（Image）实例化时创建，其中包含了运行应用所需的代码、运行库、环境变量和配置文件。
  • Docker 镜像：是一个只读的模板，用于创建容器。镜像包含了运行特定应用所需的所有内容——代码、运行时、库等。
  • Docker Hub：是一个Docker容器镜像的公共仓库，类似于GitHub，可以用来存放、共享和管理镜像。
  • Docker 仓库：存放Docker镜像的地方，可以是公共的也可以是私有的。
  • Dockerfile：是一个文本文件，包含了一系列的指令，用于自动构建一个新的Docker镜像。
  • Docker Compose：是一个工具，允许您使用YAML文件定义多个容器的应用服务，并且通过一个命令来启动和停止这些服务。

3.1.2 Docker的工作原理

Docker 使用容器来隔离和运行应用程序。容器是一种轻量级的虚拟化，它运行在同一个操作系统内核上，但保持应用程序的隔离。容器比传统的虚拟机（VM）更加高效，因为它们共享宿主机的内核，而不需要为每个虚拟机运行一个完整的操作系统。

3.1.3 Docker的优势

  • 快速，一致地交付您的应用程序：Docker可以快速构建、测试并部署代码，因为容器化的应用可以在不同的环境中保持一致。
  • 响应性强的部署和扩展：容器可以几乎即时启动，这使得扩展和自动化部署变得简单快捷。
  • 在同一个硬件上运行更多的工作负载：由于容器共享宿主机的系统核心，它们使用更少的资源，这意味着你可以在相同的硬件上运行更多的服务。

3.1.4 Docker的应用场景

  • 提供一致的开发环境：无论开发团队成员使用何种操作系统，Docker容器保证应用能够在一致的环境中运行。
  • 微服务架构：每个微服务可以被容器化，独立部署和扩展。
  • 快速部署：容器显著减少了从开发生命周期到生产部署的时间。
  • 应用程序隔离：保证在每个容器中运行的应用程序是相互隔离的。
  • 资源优化：容器的轻量级特性意味着更有效的资源使用。

总的来说，Docker是当今极为重要的DevOps工具之一，它极大地促进了应用程序的快速开发、测试和部署流程。

3.2 Windows版本

  • 笔者的系统为win11家庭版，接下来将以此为基础进行介绍
    在这里插入图片描述

3.3打开Hyper-V

  • 将以下代码复制到txt文本中,文件名为Hyper.txt
  • 将后缀改为Hyper.bat，点击bat文件重启电脑后就设置好了
pushd "%~dp0"
dir /b %SystemRoot%\servicing\Packages\*Hyper-V*.mum >hyper-v.txt
for /f %%i in ('findstr /i . hyper-v.txt 2^>nul') do dism /online /norestart /add-package:"%SystemRoot%\servicing\Packages\%%i"
del hyper-v.txt
Dism /online /enable-feature /featurename:Microsoft-Hyper-V-All /LimitAccess /ALL
  • 打开任务管理器–性能，确保虚拟化已开启
    在这里插入图片描述
  • 打开控制面板-程序和功能-启用或关闭Windows功能
  • 确保下面两个功能也是正常打开的在这里插入图片描述

3.4 安装WSL2

  • WSL2相关介绍（来自GPT）：WSL2，即Windows Subsystem for Linux version 2，是微软为Windows 10和Windows 11提供的一个功能，允许用户直接在Windows上运行Linux环境，包括大多数命令行工具、实用程序和应用程序。它是WSL的第二版本，提供了更完整的Linux兼容性和更高的性能。

在这里插入图片描述

  • 管理员权限打开cmd，WSL version只要为2就是正确的
    在这里插入图片描述

3.5 Docker下载与安装

  • https://www.docker.com/products/docker-desktop/

  • 访问上述链接，下载Windows版本
    在这里插入图片描述

  • 下载完成后，双击打开等待程序安装完成并重启电脑

  • 打开后只要不报错就ok

  • 报错的话自行查找原因

  • 我这边遇到过两类错误：docker desktop wsl distro terminated abruptly以及unexpected wsl error，都是通过卸载关闭功能重装解决的，可以参考https://zhuanlan.zhihu.com/p/669999834

3.6 GROBID安装

  • GROBID库目前存在两个版本： full lightweight，我安装的第二个

  • Full: 可运行深度学习和 CRF 模型的完整镜像（见最新版本号）（10GB）：该镜像包括所有必要的 python 和 TensorFlow 库、GPU 支持和所有 DL 模型资源。它可以提供更准确的结果，特别是在参考文献提取/解析和引文上下文识别方面。根据 GPU（推荐）的可用性与否，某些深度学习模型可能会带来更慢的运行时间和更高的内存使用率。该图像比纯 CRF 图像大得多。完整图像包含 Python 和 TensorFlow/Pytorch 库（超过 3GB）以及预加载的嵌入（约 5GB），但我们建议使用它。

  • Lightweight: 仅包含 CRF 模型的轻量级图像（300MB）：该图像在运行时间和内存使用方面具有最佳性能，并限制了图像的大小，但它没有使用一些在准确性方面表现最佳的模型。图像信息可在此处找到。如果可能，请使用上述完整图像。

docker pull lfoppiano/grobid:0.8.0 #下载

docker run --rm --init --ulimit core=0 -p 8070:8070 lfoppiano/grobid:0.8.0 #运行
  • 输入上述代码到下面这样出现model path就完成了，此时可以访问进入网站Grobid Web Application 解析成功
    在这里插入图片描述
    在这里插入图片描述

4 调用API

import os
import re
import requests
import glob
import time
from  bs4 import BeautifulSoup
from tqdm import *

files=glob.glob(r"...\*.pdf")

url = "http://localhost:8070/api/processFulltextDocument"

for f in tqdm(files):
    try:
        params = dict(input=open(f, 'rb'))
        response = requests.post(url, files=params, timeout=300)
        reslut=response.content.decode("utf-8")
        s=BeautifulSoup(reslut,'lxml')

        save=r"...\XML\{}.xml".format(f.split("\\")[-1][:-4])
        with open(save, 'w', encoding='utf-8') as file:
            # 写入XML声明头
            file.write('<?xml version="1.0" encoding="UTF-8"?>\n')
            # 写入剩余的XML数据
            file.write(str(s))
        time.sleep(1)
    except Exception as e:
        print(f)
        pass

参考

  1. https://blog.csdn.net/yt266666/article/details/127453067?spm=1001.2014.3001.5502
  2. https://grobid.readthedocs.io/en/latest/Grobid-docker/
  3. https://zhuanlan.zhihu.com/p/669999834
cwh_rs_giser
关注
Grobid: 从学术文献中提取信息的机器学习软件
u013250861的博客
01-03 1673
GROBID（或GROBID，但不是GROBID或GROBID）是指书目数据的生成。GROBID是一个机器学习库，用于将PDF等原始文档提取、解析和re-structuring为结构化的XML/TEI编码文档，特别关注技术和科学出版物。最初的发展始于2008年作为一种爱好。2011年，该工具已在开源环境中提供。从一开始，GROBID的工作就一直是一个稳定的附带项目，并有望继续下去。
grobid-astro:一种用于从学术文件中提取天文实体的机器学习软件
07-24
grobid-astro 此 GROBID 模块的目标是： 在文本文档和 PDF 中识别天文物体的任何提及， 消除与天文知识库 SIMBAD 相关的提及。 与其他 GROBID 模型一样，该模块仅依赖于机器学习并使用线性 CRF。 示例：带有 Simbad 条目链接的文本片段中的天文物体识别 安装、构建、运行 构建 grobid-astro 和 JDK 1.8（代码附带了 gradle 包装器）。 首先按照说明安装最新的 GROBID 开发版本。 将模块astro作为兄弟子项目复制到grobid-core、grobid-trainer等： cp -r grobid-astro grobid/ cd grobid-astro/ 复制标准grobid-home路径中现有的训练模型，在grobid/grobid-atro路径下键入命令： ./gradlew 复制模型 尝试使
java创建和解析PDF
09-18
工程中提供了两个方法：创建PDF文件和解析PDF文件成txt，可直接运行！
grobid：一种用于从学术文档中提取信息的机器学习软件
02-04
GROBID GROBID文档 请访问以获取更多详细信息。 概要 GROBID（或Grobid，但不是GroBid或GroBiD）表示书目数据的生成。 GROBID是一个机器学习库，用于将原始文档（例如PDF）提取，解析和重组为结构化XML / TEI编码的文档，尤其侧重于技术和科学出版物。 最早的发展始于2008年，是一种业余爱好。 在2011年，该工具已以开源形式提供。 自开始以来，作为副项目的GROBID工作就一直稳定，并有望继续进行。 可以使用以下功能： 从PDF格式的文章中提取标题并进行解析。 这里的摘录涵盖了通常的书目信息（例如标题，摘要，作者，隶属关系，关键字等）。 从.
[用GROBID解析学术论文：从入门到实践的完整指南]
最新发布
sjufgwgfhoia的博客
09-30 389
GROBID结合LangChain提供了一种有效的PDF解析方案，特别适用于学术论文。通过Docker部署和API使用，可以灵活集成到各种应用中。进一步学习资源LangChain文档加载器指南GROBID官方文档。
GROBID库：安装与使用
这也是计划的一部分的博客
10-21 6006
GROBID(或GROBID)是GeneRation Of BIbliographic Data。 GROBID是一个机器学习库，用于提取、解析和重构原始文档(如PDF)，将其转换为结构化的XML/TEI编码文档，特别关注技术和科学出版物。最初的开发始于2008年，当时只是一个爱好。2011年，该工具已经以开源的形式提供。GROBID的工作从一开始就作为副业项目稳定下来，预计将继续下去
Grobid: 一个开源的PDF文献处理工具
gitblog_00012的博客
03-17 834
Grobid: 一个开源的PDF文献处理工具 grobidA machine learning software for extracting information from scholarly documents项目地址:https://gitcode.com/gh_mirrors/gr/grobid 是一个基于Java编写的开源软件，用于从PDF文档中提取结构化信息。它的主要功能是将PDF...
使用Grobid解析学术论文PDF:高级文本提取技术详解
qq_29929123的博客
08-21 1359
Grobid是一个开源的机器学习库,专门设计用于处理学术文献。提取文档的元数据(如标题、作者、摘要等)识别和解析文档的结构(如章节、段落、图表等)提取引用信息和参考文献将PDF转换为结构化的XML或JSON格式Grobid特别擅长处理学术论文,能够准确识别论文的各个部分,包括引言、方法、结果和讨论等章节。Grobid是一个强大的工具,可以大大简化学术文献的处理和分析工作。结合LangChain,我们可以轻松地将Grobid集成到更大的自然语言处理管道中。Grobid官方文档。
推荐项目：GROBID —— 科研文献处理的强大工具
gitblog_00853的博客
08-08 783
推荐项目：GROBID —— 科研文献处理的强大工具 grobidA machine learning software for extracting information from scholarly documents项目地址:https://gitcode.com/gh_mirrors/gr/grobid 项目介绍 GROBID，意为GeneRation Of BIbliographic...
grobid-开源
07-08
我们搬到了 GitHub：https://github.com/grobid/grobid
Python库 | pyconverters_grobid-0.5.10-py3-none-any.whl
04-25
资源分类：Python库 所属语言：Python 使用前提：需要解压 资源全名：pyconverters_grobid-0.5.10-py3-none-any.whl 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
grobid-istex:基于GROBID的ISTEX PDF资源书目注释
05-09
怪异的 工作进行中。 这个模块使PDF具有丰富的可单击区域，这些区域对应于也存在的。 ISTEX允许主要出版商访问法国所有研究与教学组织的超过1,700万份科学文献。 整个过程如下： grobid-core分析源PDF，并提取结构化的书目参考文献以及相应的PDF区域。 对于每个提取的参考书目，ISTEX OpenURL服务用于检查ISTEX资源中是否存在相应的全文，并检索全文PDF的标识符。 （可选）在调用ISTEX OpenURL服务之前，先进行对CrossRef的调用，以检索DOI和更丰富的元数据以用于已识别的书目参考。这些附加信息将提高OpenURL服务的解析率。 对于ISTEX中存在的参考书目，我们可以产生： （i）包含丰富可点击区域的PDF，添加到源PDF中，覆盖了参考书目的文本。 单击该区域将调用浏览器，并直接进入ISTEX档案中的引用PDF（外部URI PDF链
GROBID库：利用requests库请求GROBID Web端提高PDF文档解析速度与正确率
这也是计划的一部分的博客
10-26 1967
之前使用Python调GROBID库进行文档解析，但总是由于网络或是电脑环境原因出现文档解析失败或是用时过长的困扰，观察网页结构后，决定尝试使用requests库完成相应的解析请求与XML文档保存，提高速度与正确率。
GROBID库：Windows环境下运行GROBID库解析文档的解决方案
这也是计划的一部分的博客
10-22 2133
待解决问题:PDF to XML conversion failed with error code: 99;因 GROBID模块已不再支持Windows平台，尝试利用Docker解决该报错。Docker 是基于容器的平台，允许高度可移植的工作负载。Docker 容器可以在开发人员的本机上，数据中心的物理或虚拟机上，云服务上或混合环境中运行。基于镜像，可以秒级启动各种容器。每一种容器都是一个完整的运行环境，容器之间互相隔离。
Docker Desktop - WSL distro terminated abruptlyA WSL distro Docker Desktop relies on has exited une
2301_78029091的博客
12-11 7958
wsl --list
重启电脑后docker报错，提示wsl有问题
m0_56525972的博客
03-09 2799
Docker.Core.HttpBadResponseException: {"message":"1 error occurred:\n\t* provisioning docker WSL distros: unregistering WSL distro \"docker-desktop\": unregistering WSL \"docker-desktop\": winapi error #2147746562\n\n"}
Windows安装Docker 容器教程(转载)
学海无涯,我用JAVA
02-29 1274
Windows安装Docker 容器教程
windows安装'grobid
09-17
安装GROBID库在Windows系统上需要使用Docker完成。以下是安装GROBID库的大致过程： 1. 首先，在GitHub上下载GROBID库并进行安装。 2. 如果发现GROBID库不支持Windows系统，可以转用Docker完成Windows环境下的安装和使用。 3. 阅读GROBID官方文档，了解如何调用API完成批量解析。 4. 使用关键代码调用GROBID库的API进行pdf文件的处理和解析，将结果保存为XML格式的文件。 关键代码示例： ``` from grobid_client.grobid_client import GrobidClient client = GrobidClient(config_path="./config.json") client.process("processHeaderDocument","D:/pdf",output="D:/xml",consolidate_citations=True, tei_coordinates=True, force=True) ``` 然后，可以通过发送请求和上传文件来获取返回的XML二进制数据，并将其写入本地文档中。以下是一个获取XML文件的示例代码： ``` import os import re import requests import glob def getXml(filename, path): url = "http://localhost:8070/api/processFulltextDocument" params = dict(input=open(path + filename + ".pdf", 'rb')) response = requests.post(url, files=params, timeout=300) fh = open("D:/xml/" + filename + ".xml", "w", encoding="utf-8") fh.write(response.text) fh.close() def main(): path = "D:/pdf/" inpdf = glob.glob(path + '*') for num in range(len(inpdf)): filename = re.findall(r'\\(.*?)\.pdf', str(inpdf[num]))[0] getXml(filename, path) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值