用Python+OpenCV截取视频中所有含有字幕的画面

1、需求背景

有的视频文件的字幕已经压制到了视频的图像中，不能单独提取出字幕文件。网上的 “提取视频字幕” 网站多为提取视频中的字幕文件，而非识别视频图像中的字幕。少数通过OCR技术识别画面中字幕的工具需要在线运行、运行速度较慢，或者需要收费，使用不够灵活。

我希望实现在视频中提取字幕截图的程序，需要解决两个关键问题：一是如何判断视频中是否出现了字幕，二是如何确定字幕何时发生变化。然后在有字幕且字幕刚刚发生变化时，截取并保存字幕图片。

为了解决这两个问题，我的主要思路是利用视频中字幕的固定位置和特殊颜色进行提取。通常情况下，字幕会出现在视频的特定区域，并且其颜色与周围背景颜色不同、并使用固定颜色。我们可以通过指定字幕所在的区域坐标和颜色来提取字幕图像。

然后通过判断在指定区域内符合指定颜色的像素值是否超过阈值，来判断是否存在字幕。而通过判断两帧画面之间的像素差异数是否超过阈值，来判断字幕是否变化。

通过这种方式，并根据实际情况调整参数，可以达到比较合适的漏检率和误检率，从而实现较好的字幕提取效果。

2、设计思路

2.1 读取视频的迭代器函数 VideoIter

函数实现从视频中迭代获取指定时间范围内的帧图像，它接受4个参数：file表示视频文件路径，start_time表示开始时间（单位秒，后同），end_time表示结束时间，step_time表示迭代步长。其中start_time和end_time可以设置为负数，表示为相对于总时长的倒数时间位置，step_time设置为负数时表示为倒序迭代视频中的图像。

函数从视频的start_time开始时间开始截取图像，每间隔step_time步长时间捕获一张图像，将帧图像作为生成器（yield）的输出，直到达到end_time结束时间停止。

2.2 图像预处理函数 ProcessImage

函数实现从传入图像中裁剪指定区域、并根据给定的颜色和浮动值进行颜色分割，它接受4个参数：img表示输入的图像，area表示要裁取的区域边界坐标（格式为 (x1, y1, x2, y2)），color表示要分割的颜色（格式为 (r, g, b)），float表示颜色分割时的容差范围值。

函数设计从视频画面中裁取字幕出现位置的区域，然后根据设定的字幕颜色和允许容差匹配出文字区域的蒙版。最后，使用OpenCV的方法根据颜色阈值对图像进行转换，并将函数处理过的图像返回。

2.3 提取视频中字幕图像的主函数 ExtractSubtitle

函数实现从视频中提取字幕图像，它接受7个参数：file表示视频文件路径，area表示字幕所在区域的边界坐标（格式为 (x1, y1, x2, y2)），color表示字幕的颜色（格式为 (r, g, b)），float表示颜色判断时的容差范围值，count_thresh表示像素计数阈值，diff_thresh表示像素差异阈值，delay表示显示图像的延迟时间。

函数通过循环调用VideoIter函数迭代读取视频中的帧图像，并使用ProcessImage函数处理图像，将字幕部分提取出来。在处理过程中，函数统计处理后图像中非零像素的数量，并计算当前图像与上一帧图像的像素差异。如果像素数量和像素差异数值均超过了各自设定的阈值，就将当前帧图像显示输出（作为调试）、并将视频帧图像保存到视频文件同名的文件夹中。文件命名包含帧序号、像素数量、和像素差异数（用于调试参考）。

3、实现代码

import os
import cv2
import numpy as np

def imshow(img, delay=1, title=''):
    cv2.imshow('', img)
    cv2.setWindowTitle('', title)
    cv2.waitKey(delay)

def imwrite(file, im):
    cv2.imencode('.jpg', im)[1].tofile(file)

def VideoIter(file, start_time, end_time, step_time):
    cap = cv2.VideoCapture(file)
    fps = cap.get(cv2.CAP_PROP_FPS)
    total_time = int(cap.get(cv2.CAP_PROP_FRAME_COUNT)) / fps
    if np.signbit(start_time):
        start_time += total_time
    if np.signbit(end_time):
        end_time += total_time
    for current_time in np.arange(start_time, end_time, step_time):
        cap.set(cv2.CAP_PROP_POS_FRAMES, int(fps * current_time))
        ret, img = cap.read()
        if not ret:
            break
        yield img
    cap.release()

def ProcessImage(img, area, color, float):
    x1, y1, x2, y2 = area
    img = img[y1:y2, x1:x2]
    r, g, b = color
    rgb1 = (r - float, g - float, b - float)
    rgb2 = (r + float, g + float, b + float)
    img = cv2.inRange(img, rgb1, rgb2)
    return img

def ExtractSubtitle(file, area, color, float, count_thresh, diff_thresh, delay):
    folder = os.path.splitext(file)[0]
    os.makedirs(folder, exist_ok=True)

    img1 = None
    diff = 0
    for id, img in enumerate(VideoIter(file, 0, -1, 1), 1):
        img2 = ProcessImage(img, area, color, float)
        count = cv2.countNonZero(img2)
        if img1 is not None:
            diff = cv2.countNonZero(img1 ^ img2)
        img1 = img2
        if count > count_thresh and diff > diff_thresh:
            imshow(img2, delay=delay, title=f'count={count}, diff={diff}')
            save_path = f'{folder}/img_{id:06}@count={count}@diff={diff}.jpg'
            imwrite(save_path, img)

if __name__ == '__main__':
    video_path = '三体.S01E01.HD1080P.mp4'

    area_xyxy = (564, 722, 1328, 784)
    subtitle_rgb = (250, 250, 250)
    floating_range = 10

    count_thresh = 1000
    diff_thresh = 400
    delay = 1

    ExtractSubtitle(video_path, area_xyxy, subtitle_rgb, floating_range, count_thresh, diff_thresh, delay)

函数运行前有若干参数需要确定，首先是字幕出现的位置和字幕的颜色。

截取若干典型的视频中包含字幕的图像，然后通过图画板确定字幕出现的位置，用取色器获得字幕的RGB值。

读取字幕位置坐标：

字幕颜色取色：

另外两个需要设定的参数，是判断图像中存在字幕的阈值、和字幕发生变化的阈值。很显然，这两个数值都应大于0。

其中，存在字幕的阈值设置得越低，则会有越多的本不包含字幕，但是由于背景色中存在和字幕相同颜色而被误判断成为含有字幕的图片。

发生变化的阈值设置得越低，则会有越多的相同的字幕画面由于图片压缩或背景差异，有少量像素存在区别，被误判断成字幕已经发生变化，导致截取出多余的字幕画面图像。

在具体调试时，可以先将这两个参数设定为0，然后运行程序。在弹出的可视化窗口中，在标题中可以看到我设置的这两个参数的计算数值。

结合实际裁取出的图像，我们可以适当地设计这两个门限参数的数值，通过调整参数并观察提取结果，以获得较好的字幕图像截取效果。

4、运行效果

测试运行60分钟的网飞《三体》第一集，一共提取出了600张截图，有比较良好的漏检率和误检率。如果按照1秒钟看5张图的话，2分钟就可以看完60分钟的第一集。

程序运行结果：

拼合字幕图片：

import glob
import cv2
import numpy as np

imread = lambda file: cv2.imdecode(np.fromfile(file, np.uint8), -1)
imwrite = lambda file, img: cv2.imencode('.jpg', img)[1].tofile(file)

def MergeSubtitles(folder, h1, h2, count):
    idx = 1
    imgs = []
    for path in glob.glob(f'{folder}/*.jpg'):
        img = imread(path)
        img = img[:h2] if not imgs else img[h1:h2]
        imgs.append(img)
        if len(imgs) == count:
            imwrite(f'{folder}-{idx:03}.jpg', cv2.vconcat(imgs))
            idx += 1
            imgs.clear()
    if imgs:
        imwrite(f'{folder}-{idx:03}.jpg', cv2.vconcat(imgs))

if __name__ == '__main__':
    MergeSubtitles('三体.S01E01.HD1080P', 722, 784, 15)

最终图片效果：