python 视频处理技术_Python玩转视频处理（三）：从视频中提取女神片段

在上一篇中实现了基于人脸识别提取人物片段的功能，但是在实践过程中发现，如果是一部电影，那么提取到的片段太多了。为了找女神的电影片段，还要在辣么多剪辑中苦苦手工筛选，这个不是一个优秀的程序员应该做的。

经过一番实践和探索，发现了一个强大的库，叫做face_recognition。本菜鸟也尝试过用opencv识别出图像，通过图像指纹计算出相似度，抑或通过图片向量的余弦相似度计算，奈何实现复杂，效果也不如face_recognition，只好弃暗投明。

1. face_recognition介绍

face_recognition使用 dlib 顶尖的深度学习人脸识别技术构建，在户外脸部检测数据库基准(Labeled Faces in the Wild benchmark)上的准确率高达 99.38%。

官方介绍了face_recognition以下基本功能：

1.1 找出图片中的人脸

1.2 找到并且控制图像中的脸部特征

1.3 识别图片中的人脸

在本文中使用的就是它的第三个功能识别图片中的人脸。

2. face_recognition的安装使用

face_recognition的使用需要基于Python3.3以上或Python2.7，操作系统为MacOS或Linux(Windows不提供官方支持)。安装命令如下：

$ pip install face_recognition

安装完成后可以在命令行使用face_recognition或在Python中调用。以在Python中“识别女神李一桐”为例，其过程如下：初始化，导入face_recognition，加载一张李一桐的脸部图片；加载对比图片，读取图片后进行编码；对比，将已知图片和对比图片用compare_faces方法进行对比并得到结果。

Python代码如下：

import face_recognition

# 初始化

picture_of_liyitong = face_recognition.load_image_file("yilitong.jpg")

liyitong_encoding = face_recognition.face_encodings(picture_of_liyitong)[0]

# 加载对比图片

unknown_picture = face_recognition.load_image_file("unknown.jpg")

unknown_face_encoding = face_recognition.face_encodings(unknown_picture)[0]

# 用`compare_faces`方法继续对比得到结果，

# 值得注意的是第一个参数是一个列表，可以传多个图片参数进行对比

results = face_recognition.compare_faces([liyitong_encoding], unknown_face_encoding)

if results[0] == True:

print("图片中包含女神")

else:

print("未找到女神!")

3. 女神视频提取

提取女神视频的过程与之前《从视频中自动提取人物的视频片段》的思路类似。1.1. 获取图片，用moivepy读取视频，用iter_frames方法从中获取图片帧；

1.2. 标记时间点，利用opencv识别图片中的人物并标记人物出现的起始时间点和结束时间点，并将这些时间点放到到一个列表中。

1.3. 视频截取，用moivepy将上一步中标记的时间片段从视频中截取出来，最后筛选出需要的视频片段即可。

只是将上面第二步中“用opencv识别图片中的人物”改为“用face_recognition进行对比”。代码实现如下：

from moviepy.editor import VideoFileClip

from moviepy.video.io.ffmpeg_tools import ffmpeg_extract_subclip

import face_recognition

def contain_godness(img, godness_encoding):

face_locations = face_recognition.face_locations(img)

is_godness = False

for (top_right_y, top_right_x, left_bottom_y,left_bottom_x) in face_locations:

unknown_image = img[top_right_y-50:left_bottom_y+50, left_bottom_x-50:top_right_x+50]

unknown_encoding = face_recognition.face_encodings(unknown_image)

if unknown_encoding:

results = face_recognition.compare_faces([godness_encoding], unknown_encoding[0])

print(results)

is_godness = results[0]

return is_godness

def find_durations(clip, godness_encoding):

"""

从视频中搜索女神片段

"""

duration_list = [] # 存储片段时间列表

start_time = 0 # 记录片段开始时间, 以毫秒为单位

end_time = 0 # 记录片段结束时间, 以毫秒为单位

last_index = 0

for i, img in enumerate(clip.iter_frames(fps=20)):

print(i)

flag = contain_godness(img, godness_encoding)

if flag and start_time == 0:

start_time = i / 20

last_index = i

if start_time > 0 and not flag:

end_time = i / 20

duration_list.append([start_time, end_time])

# 重置开始时间和结束时间

start_time = end_time = 0

# 打印片段时间列表并返回

print(duration_list)

return duration_list

if __name__ == "__main__":

filename = "demo.mp4"

clip = VideoFileClip(filename)

godness_image = face_recognition.load_image_file("godness.png")

godness_encoding = face_recognition.face_encodings(godness_image)[0]

durations = find_durations(clip, godness_encoding)

for d in durations:

start_t, end_t = d

ffmpeg_extract_subclip(filename, start_t, end_t)

欢迎关注我的公众号“Python的乐趣”，原创技术文章第一时间推送。