可以本地部署的最强OCR大模型：OlmOCR

江湖人称麻花滕

于 2025-03-30 10:45:00 发布

阅读量2.2k

点赞数 14

文章标签： ocr 机器人语言模型人工智能自然语言处理 lstm

本文链接：https://blog.csdn.net/m0_59235699/article/details/146642703

版权

allenai/olmocr是由Allen人工智能研究所(AI2)开发的一个开源工具包,旨在高效地将PDF和其他文档转换为结构化的纯文本,同时保持自然阅读顺序。

核心技术：

1、使用名为olmOCR-7B-0225-preview的视觉语言模型(VLM),这是基于Qwen2-VL-7B-Instruct训练而成的。
2、该模型经过约25万页多样化PDF内容(包括扫描和基于文本的)的训练,这些内容使用GPT-4o标注并作为olmOCR-mix-0225数据集发布。

主要功能：

1、高效批量处理:使用SGLang优化推理管道,能以极低的成本处理大量文档。
2、文档锚定:提取每页中显著元素(如文本块和图像)的坐标,并将其与从PDF二进制文件中提取的原始文本一起注入。
3、支持本地和集群使用:可在单机GPU上运行,也支持使用AWS S3进行多节点并行处理。

性能和优势：

1、准确性高:在人工评估中,olmOCR在各种PDF提取技术的ELO评级中排名最高。
2、提升下游任务:使用olmOCR提取的文本训练语言模型,在多个AI基准任务中平均提高了1.3个百分点的准确率。

使用方法：

import torch
import base64
import urllib.request

from io import BytesIO
from PIL import Image
from transformers import AutoProcessor, Qwen2VLForConditionalGeneration

from olmocr.data.renderpdf import render_pdf_to_base64png
from olmocr.prompts import build_finetuning_prompt
from olmocr.prompts.anchor import get_anchor_text

# Initialize the model

model = Qwen2VLForConditionalGeneration.from_pretrained(“allenai/olmOCR-7B-0225-preview”, torch_dtype=torch.bfloat16).eval()
processor = AutoProcessor.from_pretrained(“Qwen/Qwen2-VL-7B-Instruct”)
device = torch.device(“cuda” if torch.cuda.is_available() else “cpu”)
model.to(device)

# Grab a sample PDF
urllib.request.urlretrieve(“https://molmo.allenai.org/paper.pdf”, “./paper.pdf”)

# Render page 1 to an image
image_base64 = render_pdf_to_base64png(“./paper.pdf”, 1, target_longest_image_dim=1024)

# Build the prompt, using document metadata
anchor_text = get_anchor_text(“./paper.pdf”, 1, pdf_engine=“pdfreport”, target_length=4000)
prompt = build_finetuning_prompt(anchor_text)

# Build the full prompt
messages = [
{
“role”: “user”,
“content”: [
{“type”: “text”, “text”: prompt},
{“type”: “image_url”, “image_url”: {“url”: f"data:image/png;base64,{image_base64}"}},
],
}
]

# Apply the chat template and processor
text = processor.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
main_image = Image.open(BytesIO(base64.b64decode(image_base64)))

inputs = processor(
text=[text],
images=[main_image],
padding=True,
return_tensors=“pt”,
)
inputs = {key: value.to(device) for (key, value) in inputs.items()}

# Generate the output
output = model.generate(
**inputs,
temperature=0.8,
max_new_tokens=50,
num_return_sequences=1,
do_sample=True,
)

# Decode the output
prompt_length = inputs[“input_ids”].shape[1]
new_tokens = output[:, prompt_length:]
text_output = processor.tokenizer.batch_decode(
new_tokens, skip_special_tokens=True
)

print(text_output)
#[‘{“primary_language”:“en”,“is_rotation_valid”:true,“rotation_correction”:0,“is_table”:false,“is_diagram”:false,“natural_text”:"Molmo and PixMo:\nOpen Weights and Open Data\nfor State-of-the’]

识别效果：

总结：

支持结构化精准提取复杂PDF文件内容！完美识别中英文文档、模糊扫描件与复杂表格！本地部署与实际测试全过程！医疗法律行业必备！轻松应对企业级PDF批量转换需求！

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述