【论文+公式ocr+代码】2308.Nougat_Neural Optical Understanding for Academic Documents （Meta AI 学术pdf识别）

已于 2023-08-31 16:56:33 修改
阅读量1.1k 收藏 3
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 传统计算机视觉相关 论文解读 文章标签： mathpix transforner pdf识别 公式识别 nougat ocr
于 2023-08-31 16:50:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/imwaters/article/details/132600466
FacebookResearch的Nougat模型能识别PDF中的文字和复杂数学公式，无需图片。利用Transformer架构，配合MathpixMarkdown提供高质量的方程和表格支持。该技术使用大量开放数据集训练，可用于VSCode插件和Web应用中。

在这里插入图片描述

主要参考

论文原文学术文档的识别：2308. Nougat_Neural Optical Understanding for Academic Documents
机器之心报道：Meta推出OCR神器，PDF、数学公式都能转
演示地址：https://facebookresearch.github.io/nougat/
github 模型下载: https://github.com/facebookresearch/nougat/releases
pdf 输出格式mathpix makedown语法以及转换说明：https://github.com/Mathpix/mathpix-markdown-it

先导知识

  1. Transformer :李沐 Transformer论文逐段精读【论文精读】
  2. Swin Transforme: 2103.Hierarchical Vision Transformer using Shifted Windows | 中文解读

能用来做什么？

如何训练得到？

使用了800万页的pdf的数据，

从 arXiv 上开放获取的文章中创建了自己的数据集。为
PubMed Central (PMC) 开放访问非商业数据集的一个子集。
部分行业文档库 (IDL)。

数据集处理方法

在这里插入图片描述

模型

transformer 编解码结构
基于Donut : 2111. OCR-free Document Understanding Transformer模型改进的
在这里插入图片描述

运行代码测试 （1660ti）

https://github.com/facebookresearch/nougat

python predict.py   your_pdf.pdf  --batchsize=1  --out=./out

输出结果

没有图片，结果需要在vscode安装插件mathpix后展示
在这里插入图片描述

vscode插件展示

在这里插入图片描述

官方例子，融入到html上

在这里插入图片描述

附录: 什么是mathmarkdown ?

https://mathpix.com/docs/mathpix-markdown/overview

通过 LaTeX 语法（由 MathJax 提供支持）提供更好的方程支持，包括 LaTeX 的方程编号和引用约定
通过 LaTeX 表格语法更好地支持表格，允许使用科学出版物中常见的复杂嵌套表格
通过 LaTeX 语法进行高级图形引用
支持摘要、作者列表和可链接部分；这些是学术出版物的现实
支持以 SMILES 标记表示的化学图表，与 Chemdraw 等流行的化学工具兼容
支持图像：解析和渲染附加参数，例如宽度、高度、对齐方式
支持定理和证明

在这里插入图片描述

Nougat: Neural Optical Understanding for Academic Documents
c_cpp_csharp的专栏
09-05 449
科学知识主要以PDF的形式存储在书籍和科学期刊中。然而，PDF格式会导致语义信息的丢失，尤其是数学表达式。我们提出了Nougat（学术文献的神经光学理解），这是一个视觉转换器模型，它执行光学字符识别（OCR）任务，将科学文献处理成标记语言，并在新的科学文献数据集上证明了我们的模型的有效性。所提出的方法通过弥合人类可读文件和机器可读文本之间的差距，为在数字时代提高科学知识的可及性提供了一个有希望的解决方案。我们发布了模型和代码，以加速未来科学文本识别的工作。
Nougat 深度剖析
weixin_40779727的博客
09-05 1120
图文对构造的整体pipeline由下图所示。从arXiv拿到的Tex源码出发拿到全篇文章的markdown标记，与pdf每页的图片与文本Branch1:TEX⟶LaTeXMLHTML⟶ParsermarkdownTEX⟶LaTeXML​HTML⟶Parser​markdownBranch2:TEX⟶PDFLatexPDF⟶MuPDFpage1textpage2。
nougat配置教程记录，最快方法与解决报错问题
m0_55995964的博客
11-02 983
记录nougat配置过程以及解决各种问题。
Nougat：科学文档的OCR 使用记录
越努力，越幸运
01-04 1461
模型默认下载地址：/home/****/.cache/torch/hub/nougat-0.1.0-small。如果需要使用GPU，则需要重新安装和自己cuda版本对应的torch等，我这边是cuda11.8。显存占用17368 / 24576M 显存占用17G，16页的PDF 耗时30秒。vscode中使用如下插件可以查看mmd格式中的内容，文字可直接复制。在output目录下会生成.mmd格式的文件。python环境需要在3.8以上。环境配置好之后即可进行PDF识别。环境安装好之后默认使用cpu。
【nougat推理】pdf转markdown文件代码demo示例&web_demo示例
懒惰是科技进步的原始动力
04-25 934
PDF光学字符识别OCR代码示例，模型nougat
告别学术PDF解析烦恼：Nougat让论文转Markdown只需3步
gitblog_00199的博客
09-13 897
你是否还在为学术论文PDF中的公式、表格无法复制而头疼？尝试过十几种OCR工具却始终无法完美保留文档结构？本文将带你用3个步骤解决这些问题——基于Meta官方开源的Nougat模型，实现学术文档的精准解析与Markdown转换，让文献处理效率提升10倍。 读完本文你将掌握： - 5分钟完成Nougat环境搭建的实操指南 - 3行命令实现PDF到Markdown的批量转换 - 解决常见解析错误的5...
CV之Nougat：Nougat(一种基于神经网络实现OCR功能的视觉转换器模型)的简介、安装和使用方法、案例应用之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
05-21 3335
​ CV之Nougat：Nougat(一种基于神经网络实现OCR功能的视觉转换器模型)的简介、安装和使用方法、案例应用之详细攻略 目录 相关论文 Nougat的简介 Nougat的安装和使用方法 Nougat的案例应用 相关论文 《Nougat: Neural Optical Understanding for Academic Documents》的翻译与解读 地址 论文地址：https://arxiv.org/abs/2308.13418 时间 202
Nougat会议论文：最新研究进展与未来方向
gitblog_00571的博客
09-13 915
你是否曾因PDF格式的学术论文无法高效提取公式、表格而困扰？是否经历过手动转录LaTeX公式时出现的格式错乱？Nougat（Neural Optical Understanding for Academic Documents，学术文档神经光学理解）的出现彻底改变了这一现状。作为Meta AI（原Facebook Research）开源的学术文档解析系统，Nougat通过深度学习技术实现了PDF到...
Nougat离线工作流：无网络环境下的学术文档处理
gitblog_00313的博客
09-13 831
你是否曾在学术会议的网络盲区、偏远地区的实验室，或是严格保密的研究环境中，急需解析PDF格式的学术论文却无法联网？当传统OCR工具面对复杂公式和表格束手无策，而在线转换服务又完全无法访问时，如何突破这一困境？本文将系统介绍基于Nougat（Neural Optical Understanding for Academic Documents）构建完整离线工作流的方法，帮助研究人员在无网络环境下高效...
Nougat: Neural Optical Understanding for Academic Documents论文笔记
qq_39656852的博客
09-07 637
如果两个分割点在源文本中的相同位置，则认为页面中断是“准确的”，得分为1。据我们所知，没有 PDF 页面的成对数据集和相应的源代码，因此我们从 arXiv.4 上的开放访问文章中创建了我们自己的布局多样性，我们还包括 PubMed Central 5 (PMC) 开放访问非商业数据集的子集。具有相关目标的开源解决方案包括 GROBID [4]，它将数字出生的科学文档解析为 XML，重点关注书目数据和 pdf2htmlEX [25]，它将数字出生的 PDF 转换为 HTML，同时保留文档的布局和外观。
Implementation of Nougat Neural Optical Understanding for Academ
02-05
Implementation of Nougat Neural Optical Understanding for Academic Documents
小米4C_r.e.c.o.v.e.r.y_7.0_cofface.rar
03-14
小米4C作为小米公司推出的经典智能手机型号，一直以来都深受用户喜爱。这款设备的操作系统更新和维护，离不开recovery模式的支持。本文将深入探讨"小米4C_r.e.c.o.v.e.r.y_7.0_cofface.rar"这个工具包，它是专门为...
【stable diffusion】图片批量自动打标签、标签批量修改（BLIP、wd14）用于训练SD或者LORA模型
热门推荐
进一寸有一寸的欢喜
06-12 2万+
对自己图片，自动化进行文字描述，用于训练stable-diffusion的自己的模型的大模型、训练LORA模型的数据准备
【OpenCV Java】opencv官方java例程演示（Windows下）
进一寸有一寸的欢喜
02-27 1万+
0下载与安装 （Windows下）https://opencv.org/： 选择喜欢的版本安装，opencv3.4以后支持深度学习API 1 环境搭建 OpenCV Java with Eclipse：https://docs.opencv.org/trunk/d1/d0a/tutorial_java_eclipse.html 问题1：搭建opencv4.0环境失败： ...
【Python-opencv3.4】视频基本操作（帧率，总视频帧数、从第N帧开始播放、播放进度显示、按键控制视频）
进一寸有一寸的欢喜
05-30 1万+
一、视频基本操作： 1.读取视频帧率、分辨率、读取视频总帧数、起始播放帧数 2.使用键盘控制视频 3.显示视频播放进度 二、基本操作对应代码 【完整代码】提取码：0vvb 1.读取视频帧率、分辨率、读取视频总帧数 #—————————————————————————————— #————————添加自己的视频播放路径——————————— video_path="F:/Ze...
【Gabor滤波器】提取图像纹理（Python、C++两种实现）
进一寸有一寸的欢喜
02-26 1万+
主要参考：（后续链接重复） 分析opencv实现的gabor + 不同参数的gabor核（图）：https://blog.csdn.net/lhanchao/article/details/55006663 分析wiki百科的gabor实现：https://zhuanlan.zhihu.com/p/33311267 原理、opencv+c++实现：https://blog.csdn.net/ibelievesunshine/article/details/105113458 本文代码下载：https
【webUI】gradio基础使用2——Gallery组件显示多张图片
进一寸有一寸的欢喜
10-12 1万+
基于python的在浏览器显示多图片显示，本文基于gradio写出最简单形式方便大家修改。后续应用：例如上传一张图片，经过处理，输出查询结果。
【综述+3D】基于NeRF的三维视觉2023年度进展报告（截止2023.06.10）
进一寸有一寸的欢喜
09-04 9663
NeRF的核心优化手段： 端到端可微渲染（紧致-高效的三维视觉信息表达） 从更本质的角度建立了二维图像与三维世界的联系
【opencv】图片放大缩小到指定大小或按指定比例f放大缩小（resize函数）c++
进一寸有一寸的欢喜
06-30 7640
简介 本文实验是在Ubuntu下基于opencv3.4.6的resize()函数进行图片的大小变换的，主要有两种方式，一种是指定的变换后的图像大小，一种是给出图像放大缩小的比例，lena原图大小为 【512x512】分别变换为【456x123】，和【512*0.5,512*3】，结果： 【此为原图】 【结果图比较畸形，就不做显示了--】 C++实现代码 之前项目比较急的时候，在设定图像变换大小的时候，总是将Size(x,y)漏写成(x,y)，一直报错，以及不理解Size(空)的意义，通过输出，发.
intent.ACTION_SHUTDOWN与intent.ACTION_REQUEST_SHUTDOWN区别
最新发布
09-13
<think> 首先，用户的问题是关于Android中两个Intent actions的区别：`intent.ACTION_SHUTDOWN` 和 `intent.ACTION_REQUEST_SHUTDOWN`。我需要基于提供的站内引用来回答。 回顾引用： - 引用[1]：提到了代码片段，使用不同的action值来请求关机，基于SDK版本。对于新代码，使用`"com.android.internal.intent.action.REQUEST_SHUTDOWN"`，而对于旧版本（<= N），使用`"android.intent.action.ACTION_REQUEST_SHUTDOWN"`。还显示了如何发送这个意图。 - 引用[2]：介绍了隐式Intent的概念，包括设置action、category和data，以及如何使用`Intent.ACTION_VIEW`来打开网页。 用户的问题直接是："我想了解intent.ACTION_SHUTDOWN与intent.ACTION_REQUEST_SHUTDOWN的区别"，并提到了之前的引用。 关键点是： - `intent.ACTION_SHUTDOWN` 和 `intent.ACTION_REQUEST_SHUTDOWN` 可能对应于不同的常量。 - 在Android中，ACTION_SHUTDOWN 和 ACTION_REQUEST_SHUTDOWN 是系统广播或意图。 回忆标准Android知识： - `Intent.ACTION_SHUTDOWN`：这是一个广播action，当设备即将关机时发送。应用程序可以注册接收这个广播来执行关机前的清理操作。 - `Intent.ACTION_REQUEST_SHUTDOWN`：这是一个意图action，用于请求设备关机。应用程序发送这个意图来启动关机过程。 现在，匹配到引用： - 引用[1]中提到了`"android.intent.action.ACTION_REQUEST_SHUTDOWN"` 和 `"com.android.internal.intent.action.REQUEST_SHUTDOWN"`，这表明这两个都是用于请求关机的。 - 引用[2]描述了隐式Intent，但使用的是ACTION_VIEW的例子。 在我的回答中，我需要澄清区别： - **ACTION_SHUTDOWN**：系统发送的广播，表示关机即将发生。 - **ACTION_REQUEST_SHUTDOWN**：应用程序发送的意图来请求关机。 用户可能使用的是不正确的格式或别名，但基于引用，ACTION_REQUEST_SHUTDOWN 是用于请求关机。 结构化回答： 1. **解释每个action的作用**： - `Intent.ACTION_SHUTDOWN`：这是一个广播action，当设备准备关机时由系统发送。应用程序可以注册接收器来监听这个事件。 - `Intent.ACTION_REQUEST_SHUTDOWN`：这是一个意图action，应用程序发送它来请求系统关机。 2. **使用场景**： - ACTION_SHUTDOWN：用于监听关机事件。 - ACTION_REQUEST_SHUTDOWN：用于触发关机。 3. **基于引用的证据**： - 引用[1]展示了如何使用ACTION_REQUEST_SHUTDOWN来请求关机。 - 引用[2]是关于隐式Intent的一般描述，但可以借鉴来理解如何发送意图。 4. **添加引用标识**：在末尾添加引用，基于提供的引用号。 5. **生成相关问题**：按照系统指令，在最后添加相关问题。 6. **格式**： - 使用中文回答。 - 确保结构清晰。 - 对于数学或变量，使用$...$，但这里可能不适用；主要是代码块或常量。 - 独立公式用$$...$$，但这里没有数学内容。 用户问题中提到了"intent.ACTION_SHUTDOWN" 和 "intent.ACTION_REQUEST_SHUTDOWN"，在Android SDK中，常量是： - `Intent.ACTION_SHUTDOWN`：广播action。 - `Intent.ACTION_REQUEST_SHUTDOWN`：用于请求关机；在一些版本中，可能需要权限。 从引用[1]： - 旧版本（<= Nougat）使用`"android.intent.action.ACTION_REQUEST_SHUTDOWN"`。 - 新版本使用`"com.android.internal.intent.action.REQUEST_SHUTDOWN"`，这表明ACTION_REQUEST_SHUTDOWN可能已被弃用或内部化。 在回答中，我应该指出： - `Intent.ACTION_SHUTDOWN` 是广播。 - `Intent.ACTION_REQUEST_SHUTDOWN` 是用于发送请求的意图；但可能需要系统权限。 最终回答结构： - 开头解释区别。 - 详细说明每个。 - 代码示例，如果适用。 - 相关引用。 - 相关问题生成。 </think> ### Intent.ACTION_SHUTDOWN 与 Intent.ACTION_REQUEST_SHUTDOWN 的区别 在 Android 开发中，`Intent.ACTION_SHUTDOWN` 和 `Intent.ACTION_REQUEST_SHUTDOWN` 是两个与设备关机相关的意图动作（Intent Action），但它们在用途、触发机制和系统级别上有本质区别。以下基于提供的引用和 Android 标准机制进行详细解释： #### 1. **Intent.ACTION_SHUTDOWN（关机通知广播）** - **作用**：这是一个系统广播动作（Broadcast Action），由 Android 系统在设备即将关机时主动发送。它的主要目的是通知所有注册的应用程序，以便它们执行关机前的清理操作（如保存数据、释放资源）。 - **使用场景**： - 应用程序接收此广播后，可以响应关机事件，但无法阻止关机过程。 - 例如，一个音乐播放器应用可能监听此广播，在关机前自动暂停播放并保存播放进度。 - **机制**： - 这是一个隐式广播（Implicit Broadcast），应用程序通过注册 `BroadcastReceiver` 来监听。 - 不需要特殊权限即可接收，但发送权限仅限于系统。 - 在 Android SDK 中，常量定义为 `Intent.ACTION_SHUTDOWN`。 #### 2. **Intent.ACTION_REQUEST_SHUTDOWN（关机请求意图）** - **作用**：这是一个请求动作（Request Action），由应用程序显式发送以触发设备关机。它不会广播给其他应用，而是直接请求系统执行关机操作。 - **使用场景**： - 应用程序主动发起关机（如自定义关机按钮或远程控制场景）。 - 引用[1]中的代码展示了如何发送此意图：它通过 `startActivity()` 启动关机流程，并使用 `Intent.FLAG_ACTIVITY_NEW_TASK` 标志在新的任务栈中执行。 - 注意：不同 Android 版本中，此动作的常量可能变化（如 <= Android N 时使用 `"android.intent.action.ACTION_REQUEST_SHUTDOWN"`，更高版本使用内部常量如 `"com.android.internal.intent.action.REQUEST_SHUTDOWN"`）。 - **机制**： - 这是一个显式或隐式意图（Implicit Intent），但通常需要系统权限（如 `android.permission.SHUTDOWN`）才能发送。 - 发送此意图可能要求用户确认（通过 `putExtra("android.intent.extra.KEY_CONFIRM", false)` 可禁用确认），引用[1]的代码示例中直接跳过了确认环节。 - 引用[2]强调隐式意图的通用机制：通过定义 Action 和 Data 来匹配系统组件，但 `ACTION_REQUEST_SHUTDOWN` 更偏向系统级操作。 #### 关键区别总结 | 特性 | `Intent.ACTION_SHUTDOWN` | `Intent.ACTION_REQUEST_SHUTDOWN` | |------|---------------------------|----------------------------------| | **类型** | 系统广播（被动接收） | 请求意图（主动发送） | | **触发方** | Android 系统 | 应用程序 | | **目的** | 通知关机事件 | 请求执行关机 | | **权限要求** | 接收无需特殊权限 | 发送需系统权限（如 `SHUTDOWN`） | | **使用方式** | 注册 `BroadcastReceiver` | 调用 `startActivity()` 或 `sendBroadcast()` | | **版本兼容性** | 所有 Android 版本支持 | 常量可能随版本变化（参考引用[1]） | | **风险** | 安全，仅用于响应 | 权限不足可能导致异常（引用[1]中捕获了 `Exception`） | #### 代码示例对比 - **监听关机广播（ACTION_SHUTDOWN）**： ```java // 在 Manifest 或动态注册 BroadcastReceiver public class ShutdownReceiver extends BroadcastReceiver { @Override public void onReceive(Context context, Intent intent) { if (intent.getAction().equals(Intent.ACTION_SHUTDOWN)) { // 执行清理操作，如保存数据 Log.d("Shutdown", "设备即将关机，执行清理"); } } } ``` - **请求关机（ACTION_REQUEST_SHUTDOWN）**（基于引用[1]修改）： ```java // 发送关机请求 public void requestShutdown(Context context) { String action = "com.android.internal.intent.action.REQUEST_SHUTDOWN"; if (Build.VERSION.SDK_INT <= Build.VERSION_CODES.N) { action = "android.intent.action.ACTION_REQUEST_SHUTDOWN"; } Intent shutdown = new Intent(action); shutdown.putExtra("android.intent.extra.KEY_CONFIRM", false); // 禁用确认对话框 shutdown.setFlags(Intent.FLAG_ACTIVITY_NEW_TASK); try { context.startActivity(shutdown); } catch (Exception e) { e.printStackTrace(); // 处理权限不足等异常 } } ``` #### 注意事项 - **权限**：发送 `ACTION_REQUEST_SHUTDOWN` 通常需要系统签名权限或 root 权限，普通应用可能失败（引用[1]中通过 `try-catch` 处理异常）。 - **隐式意图机制**：引用[2]解释了隐式意图的通用原理（基于 Action 匹配组件），但关机请求更依赖系统内部机制而非标准隐式匹配。 - **版本适配**：如引用[1]所示，不同 Android 版本中关机请求的常量可能不同，开发时需检查 SDK 版本。 - **安全风险**：滥用关机请求可能导致用户体验问题，建议仅在系统级应用中使用。 以上区别基于 Android 官方文档和提供的引用分析得出[^1][^2]。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

曾小蛙

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值