Video-subtitle-remover API详解：如何集成到你的视频处理 pipeline-CSDN博客

Video-subtitle-remover API详解：如何集成到你的视频处理 pipeline

【免费下载链接】video-subtitle-remover 基于AI的图片/视频硬字幕去除、文本水印去除，无损分辨率生成去字幕、去水印后的图片/视频文件。无需申请第三方API，本地实现。AI-based tool for removing hard-coded subtitles and text-like watermarks from videos or Pictures. 项目地址: https://gitcode.com/gh_mirrors/vi/video-subtitle-remover

概述

Video-subtitle-remover是一个基于AI的工具，用于去除图片/视频中的硬字幕和文本水印，实现无损分辨率生成去字幕、去水印后的图片/视频文件。该工具无需申请第三方API，可在本地实现。本文将详细介绍如何将Video-subtitle-remover的API集成到你的视频处理流程中。

核心类与接口

SubtitleDetect类

SubtitleDetect类负责检测视频帧中的字幕区域，其定义位于backend/main.py。

主要方法：

__init__(self, video_path, sub_area=None): 初始化字幕检测对象
detect_subtitle(self, img): 检测单帧图像中的字幕
find_subtitle_frame_no(self, sub_remover=None): 查找包含字幕的帧号

示例代码：

from backend.main import SubtitleDetect

# 创建字幕检测对象
detector = SubtitleDetect("input_video.mp4")
# 查找包含字幕的帧
subtitle_frames = detector.find_subtitle_frame_no()

SubtitleRemover类

SubtitleRemover类实现字幕去除功能，其定义位于backend/main.py。

主要方法：

__init__(self, vd_path, sub_area=None, gui_mode=False): 初始化字幕去除对象
propainter_mode(self, tbar): 使用ProPainter算法模式处理视频

示例代码：

from backend.main import SubtitleRemover

# 创建字幕去除对象
remover = SubtitleRemover("input_video.mp4")
# 处理视频
remover.propainter_mode(tbar)

配置参数

配置参数位于backend/config.py，可根据需求调整。主要配置项包括：

MODE: 设置inpaint算法类型，可选STTN、LAMA或PROPAINTER
SUBTITLE_AREA_DEVIATION_PIXEL: 用于放大mask大小，防止自动检测的文本框过小
STTN_SKIP_DETECTION: 是否跳过字幕检测，可节省处理时间
PROPAINTER_MAX_LOAD_NUM: 根据GPU显存大小设置最大同时处理的图片数量

示例配置：

# 设置inpaint算法为STTN
MODE = InpaintMode.STTN
# 设置像素点偏差
SUBTITLE_AREA_DEVIATION_PIXEL = 20
# 启用STTN算法的跳过字幕检测功能
STTN_SKIP_DETECTION = True

算法选择

Video-subtitle-remover提供了三种主要算法，可根据视频类型和处理需求选择：

STTN算法

STTN算法对于真人视频效果较好，速度快，可以跳过字幕检测。相关实现位于backend/inpaint/sttn_inpaint.py。

LAMA算法

LAMA算法对于动画类视频效果好，速度一般，不可以跳过字幕检测。LAMAInpaint类定义位于backend/inpaint/lama_inpaint.py。

示例代码：

from backend.inpaint.lama_inpaint import LamaInpaint

# 创建LAMA inpaint对象
lama = LamaInpaint()
# 处理图像
result = lama(image, mask)

PROPAINTER算法

PROPAINTER算法需要消耗大量显存，速度较慢，但对运动非常剧烈的视频效果较好。相关实现位于backend/inpaint/video_inpaint.py。

集成步骤

1. 环境准备

首先，确保已正确安装所有依赖项，可参考requirements.txt。

2. 初始化检测和去除对象

from backend.main import SubtitleDetect, SubtitleRemover

# 创建字幕检测对象
detector = SubtitleDetect("input_video.mp4")
# 创建字幕去除对象
remover = SubtitleRemover("input_video.mp4")

3. 检测字幕区域

# 查找包含字幕的帧
subtitle_frames = detector.find_subtitle_frame_no()

4. 配置处理参数

import backend.config as cfg

# 设置处理模式为PROPAINTER
cfg.MODE = cfg.InpaintMode.PROPAINTER
# 根据GPU显存调整参数
cfg.PROPAINTER_MAX_LOAD_NUM = 50

5. 执行字幕去除

# 处理视频
remover.propainter_mode(tbar)
# 输出处理后的视频
output_video = remover.video_out_name

实际应用示例

以下是一个完整的视频处理pipeline示例，展示如何集成Video-subtitle-remover API：

from backend.main import SubtitleDetect, SubtitleRemover
import backend.config as cfg
import cv2
import tqdm

def video_processing_pipeline(input_path, output_path):
    # 配置处理参数
    cfg.MODE = cfg.InpaintMode.STTN
    cfg.STTN_SKIP_DETECTION = True
    
    # 创建进度条
    tbar = tqdm.tqdm(total=100, desc="Processing video")
    
    try:
        # 初始化字幕去除对象
        remover = SubtitleRemover(input_path)
        
        # 执行字幕去除
        remover.propainter_mode(tbar)
        
        # 移动输出文件到目标路径
        import shutil
        shutil.move(remover.video_out_name, output_path)
        
        tbar.update(100)
        print(f"处理完成，输出文件: {output_path}")
        
    except Exception as e:
        print(f"处理出错: {str(e)}")
    finally:
        tbar.close()

# 使用示例
video_processing_pipeline("input_video.mp4", "output_video_no_sub.mp4")

项目结构与资源

项目主要目录结构：

backend/: 后端代码目录
- inpaint/: 图像修复相关代码
- models/: 模型文件目录
- tools/: 工具函数目录
test/: 测试文件目录，包含测试视频

模型文件位于backend/models/，包括LAMA、STTN和ProPainter等算法的预训练模型。

总结

Video-subtitle-remover提供了强大的API，可轻松集成到现有的视频处理流程中。通过选择合适的算法和配置参数，可以高效地去除视频中的硬字幕和文本水印。项目的模块化设计使得扩展和定制变得简单，满足不同场景的需求。

更多详细信息和使用示例，请参考项目的README.md。

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考