使用 OpenCV 和 FER 在 Python 中进行实时情绪识别

用于实时情感数据的检测、捕获和分析解释的综合 Python 指南

情绪识别技术是心理学、人工智能和计算机科学的有趣交叉点。我们利用 OpenCV 的视频处理功能和面部情绪识别 (FER) 库来提供视频源的实时情绪检测。

该方法包括捕捉面部表情，使用深度学习模型解释情绪状态，以及动态地可视化这些情绪。实际应用范围包括增强软件用户体验以及为情感感知的人工智能系统提供见解。

本文提供了端到端代码实现。即插即用的解决方案使开发人员和爱好者能够通过网络摄像头或其他视频源（例如屏幕录制或视频文件）实时捕获和分析情绪。

1.技术栈

FER（面部情绪识别）
FER 是一个专注于从面部表情检测情绪的 Python 库。 FER 利用预先训练的深度学习模型，分析图像和视频来识别各种情绪，例如愤怒、厌恶、恐惧、快乐、悲伤、惊讶和中立。它的设计易于使用，可以直接集成到需要情绪检测的项目中。

OpenCV（开源计算机视觉库）
OpenCV 是计算机视觉领域的基础库。它最初由英特尔开发，广泛用于处理图像和视频。 OpenCV支持包括Python在内的多种编程语言，以其在实时应用中的高效率而闻名。

该库在图像和视频处理中发挥着至关重要的作用，使其成为捕获网络摄像头源、视频处理和在图像绘制注释等任务的理想选择

MediaPipe（本文未使用）
在我们讨论实时情感识别技术堆栈的背景下，还值得一提的是 MediaPipe，尽管本文没有使用它。MediaPipe 是 Google 开发的一个框架，用于构建多模式（音频、视频、时间序列等）应用的机器学习管道。它为直播和流媒体提供可定制的机器学习解决方案，其在面部识别、手部跟踪和姿势估计方面的功能十分强大。MediaPipe 是一款功能丰富的工具，有兴趣进一步探索实时图像和视频处理的读者可能会发现它的价值。

它在需要除面部情绪检测之外的更复杂或更多种类型的视觉数据处理和识别任务的场景中尤其有效。

代码示例：

import cv2
import mediapipe as mp

# 初始化 MediaPipe 人脸检测器
mp_face_detection = mp.solutions.face_detection
mp_drawing = mp.solutions.drawing_utils

# 创建人脸检测函数
def detect_faces(image):
    # 将图像从 BGR 转换为 RGB
    image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)
    
    # 处理图像并进行人脸检测
    with mp_face_detection.FaceDetection(model_selection=1, min_detection_confidence=0.5) as face_detection:
        results = face_detection.process(image)
        
        # 将图像颜色模式转回 BGR，以便于使用 OpenCV 展示
        image = cv2.cvtColor(image, cv2.COLOR_RGB2BGR)
        
        # 绘制检测到的人脸
        if results.detections:
            for detection in results.detections:
                mp_drawing.draw_detection(image, detection)
                
    return image

# 读取图像
image = cv2.imread('path_to_your_image.jpg')
# 检测人脸
image = detect_faces(image)

# 展示结果
cv2.imshow('Face Detection', image)
cv2.waitKey(0)
cv2.destroyAllWindows()

2.Python实现

实现很简单，主要需要四个库：FER、OpenCV、matplotlib 和 imageio。

为了设置运行情感识别代码的环境，我们需要安装必要的库。通过命令提示符或终端并运行以下命令：

pip install fer
pip install opencv-python
pip install matplotlib
pip install imageio

2.1实时情绪检测

我们介绍使用 Python 进行实时情绪检测的基本概念。我们从演示核心功能的基本代码开始。

此初始示例将重点关注从网络摄像头捕获视频并使用 FER 库实时检测情绪。

虽然我们的示例使用实时网络摄像头源，但你可以轻松调整脚本以与其他来源一起使用。例如，你可以用视频文件甚至实时屏幕录制来替换网络摄像头源。

1. 启动网络摄像头源：首先，我们使用 OpenCV 从网络摄像头捕获视频。 OpenCV 的VideoCapture函数初始化网络摄像头源。在大多数情况下，VideoCapture的值设置为0会选择默认网络摄像头。
2. 检测情绪：接下来，我们利用 FER 库，它提供了一个简单的界面来检测视频帧中的情绪。当从网络摄像头捕获帧时，FER 会处理该帧以检测面部及其相应的情绪。
3. 突出显示检测到的情绪：检测到情绪后，我们使用 OpenCV 函数在视频帧中检测到的面部上绘制边界框和文本注释。文本标签指示检测到的情绪及其置信度。

from fer import FER
import cv2

# Initialize the detector
detector = FER(mtcnn=True)

# Start webcam
cap = cv2.VideoCapture(0)

try:
    while True:
        ret, frame = cap.read()
        if not ret:
            break

        # Detect emotions on the frame
        result = detector.detect_emotions(frame)
        for face in result:
            # Unpack the values
            box = face["box"]
            emotions = face["emotions"]

            x, y, w, h = box
            cv2.rectangle(frame, (x, y), (x+