从PDF中提取关键部分（如合同正文）并去除无关内容

最新推荐文章于 2025-04-29 09:39:51 发布

Leon_Jinhai_Sun

最新推荐文章于 2025-04-29 09:39:51 发布

阅读量312

点赞数 4

文章标签： pdf linux 服务器

本文链接：https://blog.csdn.net/Leon_Jinhai_Sun/article/details/146284599

版权

要从PDF中提取关键部分（如合同正文）并去除无关内容（如页眉、页脚、目录等），可以通过以下方法优化代码：

1. PDF文本结构分析

PDF文件通常包含页眉、页脚、目录等无关内容，这些内容通常位于页面的顶部或底部，或者有固定的格式（如特定的字体、字号或位置）。
通过分析PDF的文本结构（如文本块的位置、字体信息等），可以识别并去除无关内容。

2. 优化方法

使用 PyMuPDF 的文本块信息：
- PyMuPDF 的 get_text("blocks") 或 get_text("dict") 方法可以提取文本块及其位置信息。
- 通过分析文本块的位置（如Y坐标），可以过滤掉页眉和页脚。
正则表达式过滤：
- 使用正则表达式去除特定的无关内容（如页码、页眉关键词等）。
手动定义关键部分：
- 如果合同正文有固定的起始和结束标志（如“合同正文”和“签字页”），可以通过这些标志提取关键部分。

3. 优化代码

以下是优化后的代码，实现了从PDF中提取关键部分并去除无关内容的功能：

import fitz  # PyMuPDF
import re

def pdf_to_text(pdf_path):
    """解析PDF文件并返回清理后的文本内容"""
    text = ""
    try:
        doc = fitz.open(pdf_path)
        for page_num in range(len(doc)):
            page = doc.load_page(page_num)
            blocks = page.get_text("blocks")  # 获取文本块及其位置信息
            for block in blocks:
                x0, y0, x1, y1, block_text, block_no, block_type = block
                # 过滤掉页眉和页脚（通常位于页面顶部和底部）
                if y0 > 50 and y1 < page.rect.height - 50:  # 调整阈值以匹配具体PDF
                    text += block_text + "\n"
        return text
    except Exception as e:
        print(f"解析 PDF 文件时出错: {e}")
        return None

def clean_text(text):
    """清理文本，去除无关内容"""
    if text:
        # 去除页码（如“第1页”）
        text = re.sub(r'第[0-9]+页', '', text)
        # 去除多余的空白字符
        text = re.sub(r'\s+', ' ', text)
        text = text.strip()
    return text

def extract_key_section(text, start_marker, end_marker):
    """提取关键部分（如合同正文）"""
    if text:
        start_index = text.find(start_marker)
        end_index = text.find(end_marker)
        if start_index != -1 and end_index != -1:
            return text[start_index:end_index + len(end_marker)]
    return text  # 如果未找到标志，返回全部文本

# 示例PDF路径
pdf_path = r"C:\Users\leon\Desktop\断点续传\python_learn\2025\20250308\ollama\pdf\刑事诉讼合同（辩护人）.pdf"

# 解析PDF并提取文本
pdf_text = pdf_to_text(pdf_path)
if pdf_text:
    print("原始文本：", pdf_text[:1000])  # 打印前1000字符检查

    # 清理文本
    cleaned_text = clean_text(pdf_text)
    print("清理后文本：", cleaned_text[:1000])  # 打印前1000字符检查

    # 提取关键部分（如合同正文）
    start_marker = "风险代理清收协议"  # 合同正文起始标志
    end_marker = "本页为股份有限公司重庆分行与上海锦天城（重庆）律师事务所"  # 合同正文结束标志
    key_section = extract_key_section(cleaned_text, start_marker, end_marker)
    if key_section:
        print("关键部分：", key_section[:1000])  # 打印前1000字符检查
    else:
        print("未找到关键部分")
else:
    print("PDF解析失败")

4. 代码说明

pdf_to_text 函数：
- 使用 get_text("blocks") 提取文本块及其位置信息。
- 通过Y坐标过滤掉页眉（y0 < 50）和页脚（y1 > page.rect.height - 50）。
clean_text 函数：
- 使用正则表达式去除页码和多余的空白字符。
extract_key_section 函数：
- 根据起始和结束标志提取关键部分（如合同正文）。
调试输出：
- 打印解析后的文本、清理后的文本和关键部分，方便调试。