分析视频中人物的表情python

小森林817

已于 2024-02-19 13:31:40 修改

阅读量2.5k

点赞数 43

分类专栏： python学习文章标签： python 开发语言 opencv

于 2024-02-19 13:25:29 首次发布

本文链接：https://blog.csdn.net/weixin_63655126/article/details/136167866

版权

python学习专栏收录该内容

3 篇文章

订阅专栏

参考视频来自哔哩哔哩up：小黑黑讲AI

https://b23.tv/owwJjs4

测试视频取自哔哩哔哩up:小阿森bb

https://b23.tv/xTIHH8i

动因：上篇文章说想分析自己不喜欢的演员的面部表情，然后我就开始做，但是没有用那个演员来做测试，而是用了我自己和一个很喜欢的baby做测试，世界应该多一些美好！阿彼真的很可爱！现在，就开始说一下过程吧！

一、deepface库的配置

参考视频可以看到up使用了deepface库，在下载deepface后opencv也跟随着下载完毕了。

在pycharm的terminal直接使用下面代码会出现下载一半就报错的问题。一开始是版本问题，更新后继续下载还是一直报错，显示time out。应该是直接在外网下载太慢了。

pip install deepface

所以使用镜像下载

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple deepface

参考文章：https://zhuanlan.zhihu.com/p/641831098

如果完全按照视频里面的conda我会报错，没有这个配置，如果报错的也可以像我一样直接安装，反正是可以运行的。

二、编写代码

我不太会使用github，所以没有办法像视频评论区的网友说的那样去找源代码，我就直接把视频里面的代码自己打上去了（因为代码不长）

这边附上我对着视频搞上去的代码，代码来源我就标视频吧，因为我也不知道up的代码来自哪里。打上去的时候有一部分出入：

#分析视频中人物表情
import cv2
from deepface import DeepFace
#简单测试，图片版本
# result = DeepFace.analyze(img_path="E:\\study\\test.jpg",
#                           actions=["emotion"])
# print(result)

input_video = "E:\\study\\Pythonstudy\\test\\abi.mp4"#设置待分析视频的路径
output_video ="E:\\study\\Pythonstudy\\test\\emotion.mp4"#分析结果视频

#使用opencv的videocapture接口，打开视频文件
#cap用于从视频文件或者摄像头中捕获视频帧
cap = cv2.VideoCapture(input_video)

fps = int(cap.get(cv2.CAP_PROP_FPS))#获取视频帧的速率
frame_width = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))#获取视频帧的宽度
frame_height = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))#获取视频帧的高度

#定义视频编解码器，指定视频文件的编码格式
#XVID是一个流行的MPEG-4的视频编解码器
fourcc = cv2.VideoWriter.fourcc('X', 'V', 'I', 'D')#老版本是_fourcc,所以一直报错
out = cv2.VideoWriter(output_video,#输出视频地址
                      fourcc,#视频编码器
                      fps, (frame_width, frame_height))#视频帧参数
#通过返回的out,可以将处理后的视频帧保存到输出文件中

frame_cnt=0#当前正在处理的帧
emodict=dict()#识别出情绪的结果

while cap.isOpened():#进入视频分析循环
    ret, frame = cap.read()#读取当前视频帧
    #如果返回值ret不是真，说明视频结束了
    if not ret:
        break#跳出循环
# 对当前帧分析，识别出当前视频帧中人物的表情
# 需要将enforce_detection设置为False
# 也就是不强制识别出人脸，否则如果没有识别到人脸就会抛出异常
    result = DeepFace.analyze(img_path=frame,
                          actions=['emotion'],
                          enforce_detection=False)

#获取结果中强度最高的情感，保存在emotion中
    emotion = result[0]['dominant_emotion']
#面部区域的位置和宽高保存在x,y,w和h中
    x, y, w, h = result[0]['region'].values()
    frame_cnt+=1#记录已经计算的帧数
#打印该帧是视频的第几帧,和这一帧对应的表情结果
    print("frame %d : %s" % (frame_cnt, emotion))

#使用字典emodict,记录每种表情的数量
    if emotion not in emodict:
        emodict[emotion] = 0
    emodict[emotion] += 1

#调用cv2.rectangle,将帧frame中的面部区域使用矩形进行框选
    cv2.rectangle(frame, (x, y), (x+w, y+h), (0, 255, 0), 5)
#调用cv2.putText,将表情结果标记在矩形框的旁边
    cv2.putText(frame, emotion, (x, y-10), cv2.FONT_HERSHEY_SIMPLEX, 2, (0, 255, 0), 5)
#调用out.write,将标记好的帧frame保存在输出视频中
    out.write(frame)

#打印保存表情统计结果的字典emodict
print("")
print("emotion statistics:")
print("total frame : %d"%(frame_cnt))
for emotion in emodict:
    ratio = emodict[emotion]*1.0/frame_cnt*100
    print(f"{emotion:<10}frame num: emodict[emotion]:<5 ratio={ratio}")
cap.release()
out.release()

可以看到，代码中第一段被我注释掉了，那一段感兴趣的可以取消注释试着运行，用于图片人物表情分析。主要是做测试的。这里就不展示了。

代码我也看不太懂，反正就是调用各种库然后分析视频帧人物的表情，最后保存起来，感兴趣的可以搜一下各个库的使用，我太懒了就懒得搜了。唯一需要注意的点就是，如果出现了：“AttributeError: 'NoneType' object has no attribute 'shape'”这样的报错，大概率是你的视频路径里面包含了中文，参考解决方案：http://t.csdnimg.cn/5kycu