镜头分割常常被用于视频智能剪辑、视频关键帧提取等场景。
本文给出一种解决镜头分割问题的思路,可分为两个步骤:
1、根据镜头分割算法对视频进行分割标记
核心在于镜头分割算法,这里简单描述一种算法思路:ratio = different(current_frame_histogram, prevous_frame_histogram) / avgvere_different(previous_frame_histogram),通过大量试验找到合适的ratio 阈值,若ratio大于阈值,则从当前帧分割视频,由于版权原因本文省略具体算法及实现。利用cv2的calcHist计算帧RGB三通道histogram的代码如下:
for id in range(3):
self.current_hist_rgb[id] = cv2.calcHist([frame], [0], None, [256], [0, 255])
2、 根据分割标记进行实际分割
本文使用ffmpeg进行视频分割(需安装ffmpeg),具体命令如下
ffmpeg -ss starttime -i input.mp4 -t duration -codec copy -codec copy output.mp4 -y
命令中参数的顺序不能任意调整,-ss必须是第一个参数,否则分割后的视频可能出现黑屏,-t参数必须在-i参数后面,否则分割后视频可能出现时长不正确的问题。从实际效果来看,分割点并不准确在-ss参数指定的时间点,而是之前最近的关键帧。
最后,本文采用ffmpeg-python(需要用pip安装)来计算视频pts,具体实现见VideoCutEngine的calcPTS方法。
实现