基于yolov8、yolov5的人脸表情识别系统（含UI界、Python代码、数据集）

项目介绍

项目中所用到的算法模型和数据集等信息如下：

算法模型：
    yolov8、yolov8 + SE注意力机制 或 yolov5、yolov5 + SE注意力机制 ， 直接提供最少两个训练好的模型。模型十分重要，因为有些同学的电脑没有 GPU，无法自行训练。

数据集：
    网上下载的数据集，格式都已转好，可直接使用。

界面：
    PyQt5

以上是本篇博客的简单说明，添加注意力机制可作为模型的创新点 。

---

摘要：人脸识别在智能城市建设中具有重要意义，不仅能够提升公共安全，还可以为自动化管理提供可靠的感知信息。本文介绍了基于YOLOv8深度学习框架的一个人脸识别模型，该模型使用了大量人脸图片进行训练，能够精准识别不同角度、光照条件下的人脸。同时，我们开发了一款带有UI界面的人脸识别系统，支持实时检测人脸，并通过图形界面直观地展示检测结果。系统采用Python与PyQt5开发，支持对图片、视频及摄像头输入进行识别，同时可以保存检测结果供后续分析。
此外，本文附带了完整的Python代码和详细的使用指南，方便读者快速上手，进行人脸识别系统的搭建与测试。完整的代码资源及使用方法请见文章末尾。

前言

   人脸识别技术在身份验证、安全监控、智能交互等领域中具有重要意义，极大地提升了生活的便捷性和社会的安全性。在智能城市建设中，快速且精准地识别人脸，能够有效提高身份验证的准确性，减少安全隐患，特别是在自动化安防系统中，准确识别人脸是其决策和安全监控的基础。同时，人脸识别系统也为用户提供了方便的身份验证手段，如无接触式通行和智能支付。

   人脸识别技术已在多个领域得到了广泛应用，如安全监控、智能门禁、金融支付、考勤管理等场景中，均依赖于高效准确的人脸识别技术。通过一个自动化的人脸识别系统，企业或社区可以实时监控进出人员，并根据识别到的身份信息做出相应的管理决策，从而提高管理的效率和安全性。

   在现代智能管理环境中，人脸识别系统还可以与其他智能系统结合使用，如视频监控、智能门禁系统和考勤系统，形成一个完整的智能管理平台，帮助企业和社区更高效地管理人员进出。在人流量大的场所或复杂环境中，系统能够快速识别多个人脸，从而为管理者提供更为精准的安全建议。

   本文通过收集与人脸识别相关的数据和图像，博主利用YOLOv8、YOLOv5等目标检测技术，结合Python与PyQt5，开发出了一款界面简洁的人脸识别系统。该系统支持图片、视频及摄像头检测，并能够保存识别结果，为用户提供直观便捷的人脸识别体验。

功能展示：

部分核心功能如下：

• 功能1： 支持单张图片识别
• 功能2： 支持遍历文件夹识别
• 功能3： 支持识别视频文件
• 功能4： 支持摄像头识别
• 功能5： 支持结果文件导出（xls格式）
• 功能6： 支持切换检测到的目标查看

更多的其他功能可以通过下方视频演示查看。

基于深度学习的人脸表情识别系统（yolov8）

---

🌟 一、环境安装

文档中有详细的环境安装指南，包括 Python、PyCharm、CUDA、Torch 等库的安装步骤，所有版本均已适配。你可以根据文档或视频教程一步步完成安装。

经过三年多的经验积累，我整理了在帮助他人安装环境过程中常见的问题和解决方法，并汇总到这份文档中。无论你是使用 GPU 版还是 CPU 版，都能找到相关的安装细节和说明。文档会定期更新，以确保最新的环境配置和优化，供大家参考。

文档截图如下：

---

🌟 二、数据集介绍

数据集总共包含以下类别，且已经分好 train、val、test文件夹，也提供转好的yolo格式的标注文件，可以直接使用。

fer2013人脸表情数据集由35886张人脸表情图片组成，其中，测试图（Training）28708张，公共验证图（PublicTest）和私有验证图（PrivateTest）各3589张，每张图片是由大小固定为48×48的灰度图像组成，共有7种表情，分别对应于数字标签0-6，具体表情对应的标签和中英文如下：0 anger 生气； 1 disgust 厌恶； 2 fear 恐惧； 3 happy 开心； 4 sad 伤心；5 surprised 惊讶； 6 normal 中性。

但是，数据集并没有直接给出图片，而是将表情、图片数据、用途的数据保存到csv文件中，如下图所示，

我提供的都是将其转换好的，可以直接拿来训练。

转换后的数据样式如下：

---

🌟 三、深度学习算法介绍

本系统集成了多个不同的算法版本和界面版本，以下是对这些版本的概述：

算法版本方面，系统提供了多种深度学习算法和传统图像处理技术，用户可以选择最合适的算法进行任务处理。此外，各算法版本经过严格的测试和优化，以提供更高的准确率和效率。

在界面版本方面，系统设计了多种用户界面风格，可以选择简约、直观的界面，快速上手进行操作；也可以选择功能丰富的专业界面，满足复杂任务的需求。界面设计注重用户体验，确保用户在操作过程中能够方便地访问各种功能。

此外，系统还支持实时更新和扩展，可以根随时添加新的算法模块或界面选项。这种灵活性不仅提高了系统的适用性，也为未来的技术发展预留了空间。

总之，本系统通过多个算法和界面版本的组合，提供了丰富的选择和强大的功能。

下面是对包含到的算法的大概介绍：

1. yolov8相关介绍

YOLOv8 是当前深度学习领域内的一个SOTA（State-Of-The-Art）模型，凭借其前代版本的技术积累，再次引领了目标检测算法的发展方向。与其前辈不同，YOLOv8在模型结构和计算方式上都做了创新性调整，旨在实现更高效的计算和更灵活的应用场景适应能力。全新的骨干网络设计，结合Anchor-Free 检测头，让模型在面对不同输入尺寸、不同目标尺度时的表现更加出色，极大提升了性能和准确性。

此外，YOLOv8 的另一个重要进步在于它采用了全新的损失函数，使得训练过程更加稳定和高效。无论是在传统的CPU平台上运行，还是在更强大的GPU平台上进行加速，YOLOv8 都能够适应不同硬件资源的场景，确保在各种场合下保持高效的推理速度和精确的检测能力。

不过，值得注意的是，ultralytics 这一开发团队并没有直接将其开源库命名为 YOLOv8，而是采用了ultralytics的品牌名来命名整个项目。这并非单纯的命名策略，而是反映了其定位的重大变化。ultralytics 将这个库不仅视为一个算法框架，而非仅仅一个 YOLO 版本的延续。其设计目标之一是打造一个能够适应不同任务的算法平台，无论是目标检测、分类、分割，还是姿态估计，都能够在这个框架中被高效地支持。

这也意味着，未来的ultralytics 开源库将不仅限于 YOLO 系列，它的可扩展性为用户提供了更大的可能性。无论是使用非 YOLO 系列模型，还是面对不同应用领域的特定需求，ultralytics都提供了灵活且高效的解决方案。

总的来说，ultralytics 开源库 的优势可以归纳为以下几个要点：

• 融合当前最前沿的深度学习技术，让用户可以轻松实现复杂的计算任务。

• 具有极高的扩展性，未来将不仅支持 YOLO 系列，还会支持更多非 YOLO 的算法，适用于广泛的任务场景。

如此一来，ultralytics 不仅能够帮助开发者在算法研究和工程应用上取得突破，更能推动未来智能视觉领域的进一步发展。

网络结构如下：

2. yolov5相关介绍

YOLOV5有YOLOv5n，YOLOv5s，YOLOv5m，YOLOV5l、YOLO5x五个版本。这个模型的结构基本一样，不同的是deth_multiole模型深度和width_multiole模型宽度这两个参数。就和我们买衣服的尺码大小排序一样，YOLOV5n网络是YOLOV5系列中深度最小，特征图的宽度最小的网络。其他的三种都是在此基础上不断加深，不断加宽。不过最常用的一般都是yolov5s模型。

  本系统采用了基于深度学习的目标检测算法YOLOv5，该算法是YOLO系列算法的较新版本，相比于YOLOv3和YOLOv4，YOLOv5在检测精度和速度上都有很大的提升。YOLOv5算法的核心思想是将目标检测问题转化为一个回归问题。此外，YOLOv5还引入了一种称为SPP(Spatial Pyramid Pooling)的特征提取方法，这种方法可以在不增加计算量的情况下，有效地提取多尺度特征，提高检测性能。

  在YOLOv5中，首先将输入图像通过骨干网络进行特征提取，得到一系列特征图。然后，通过对这些特征图进行处理，将其转化为一组检测框和相应的类别概率分数，即每个检测框所属的物体类别以及该物体的置信度。YOLOv5中的特征提取网络使用CSPNet(Cross Stage Partial Network)结构，它将输入特征图分为两部分，一部分通过一系列卷积层进行处理，另一部分直接进行下采样，最后将这两部分特征图进行融合。这种设计使得网络具有更强的非线性表达能力，可以更好地处理目标检测任务中的复杂背景和多样化物体。

  
在YOLOv5中，每个检测框通过其左上角坐标（x, y）、宽度（w）、高度（h）以及置信度（confidence）来表示。此外，YOLOv5对于每个检测框还会预测C个类别的概率得分，每个类别的概率得分总和为1。这意味着每个检测框最终可以被表示为一个维度为(C+5)的向量，包括类别概率、位置和置信度信息。

在训练过程中，YOLOv5使用了交叉熵损失函数来优化模型，该损失函数由定位损失、置信度损失和分类损失三个部分组成。YOLOv5还采用了Focal Loss和IoU Loss等优化方法，以缓解正负样本不平衡及目标尺寸变化等问题。这些优化不仅提高了模型的准确性，还改善了在不同尺寸目标下的表现。

从网络结构来看，YOLOv5分为四个主要部分：Input（输入）、Backbone（骨干网络）、Neck（颈部结构）和Prediction（预测）。其中，Input部分负责将数据引入网络，采用了Mosaic数据增强技术，能够通过随机裁剪和拼接输入图片，进一步提升网络的泛化能力。

Backbone部分是YOLOv5提取图像特征的关键模块，其特征提取能力直接影响了整个模型的性能表现。相比前代YOLOv4，YOLOv5在Backbone中引入了Focus结构。Focus结构通过切片操作将图片的宽度(W)和高度(H)信息转移到通道空间中，从而实现了2倍的下采样操作，同时保证了不丢失关键信息。

---

🌟 四、模型训练步骤

1. 使用pycharm打开代码，找到train.py打开，示例截图如下：
   

2. 修改 model_yaml 的值，根据自己的实际情况修改，想要训练 yolov8s模型 就 修改为 model_yaml = yaml_yolov8s， 训练 添加SE注意力机制的模型就修改为 model_yaml = yaml_yolov8_SE

3. 修改data_path 数据集路径，根据自己的数据集位置修改。我提供的数据集都是在traindata文件夹下，路径设置到这一级即可。
   示例：

   data_path = r'D:\lg\BaiduSyncdisk\project\person_code\project_self\19_corn_disease\data\traindata'
   

4. 修改 model.train()中的参数，按照自己的需求和电脑硬件的情况更改

   # 文档中对参数有详细的说明
   model.train(data=data_path,  # 数据集路径
               imgsz=300,  # 训练图片大小
               epochs=200,  # 训练的轮次
               batch=2,  # 训练batch
               workers=0,  # 加载数据线程数
               device='0',  # 使用显卡
               optimizer='SGD',  # 优化器
               project='runs/train',  # 模型保存路径
               name=name,  # 模型保存命名
               )
   

5. 修改完后，执行 train.py ， 打开 train.py ，右键执行。
   

6. 出现如下类似的界面代表开始训练了
   

7. 训练完后的模型保存在runs/train文件夹下
   

---

🌟 五、模型评估步骤

1. 打开val.py文件，如下图所示：
   

2. 修改 model_pt 的值，是自己想要评估的模型路径

3. 修改 data_path 数据集路径的值，自己的数据集路径，我提供的数据集都是在traindata文件夹下，路径设置到这一级即可。

4. 修改 model.val() 中的参数，按照自己的需求和电脑硬件的情况更改

   model.val(data=data_path,           # 数据集路径
             imgsz=300,                # 图片大小，要和训练时一样
             batch=4,                  # batch
             workers=0,                # 加载数据线程数
             conf=0.001,               # 设置检测的最小置信度阈值。置信度低于此阈值的检测将被丢弃。
             iou=0.6,                  # 设置非最大抑制 (NMS) 的交叉重叠 (IoU) 阈值。有助于减少重复检测。
             device='0',               # 使用显卡
             project='runs/val',       # 保存路径
             name='exp',               # 保存命名
             )
   

5. 修改完后，即可执行程序，出现如下截图，代表成功
   

6. 评估后的文件全部保存在在 runs/val/exp... 文件夹下
   

7. 具体的准确度等指标可以在在 终端上看到
   

---

🌟 六、训练结果

我们每次训练后，会在 run/train 文件夹下出现一系列的文件，如下图所示：

   如果大家对于上面生成的这些内容（confusion_matrix.png、results.png等）不清楚是什么意思，可以在我的文档中查看这些指标的具体含义，示例截图如下：

---

结束语 🌟 🌟🌟🌟

   下面图片是对每个文件夹作用的介绍：（纯粹是秀一秀 俺的 代码结构是否清晰， 注释是否详细，如果大家觉得有更好的方法，可以下方留言，一定再精进一下。）

其实用yolo算法做系统非常的简单，但是博客文字有限，如果有介绍不明白的地方，也可以看一下下面的视频，也许会更容易理解。

视频就是记录自己如何进行环境安装、以及如何进行模型训练和模型评估的， 具体视频列表可以看下方图片箭头位置。当然如果自己不做这个项目，做其他的也可以参考一下，毕竟方法都是通用的。

项目完整文件下载请见演示与介绍视频的视频简介部分进行获取➷➷➷

演示与介绍视频： 【基于深度学习的人脸表情识别系统（yolov8）】

由于博主的能力有限，文中提到的方法虽经过实验验证，但难免存在一些不足之处。为不断提升内容的质量与准确性，欢迎您指出任何错误和疏漏。这不仅将帮助我在下次更新时更加完善和严谨，也能让其他读者受益。您的反馈对我至关重要，能够推动我进一步完善相关内容。

此外，如果您有更优秀的实现方案或独到的见解，也非常欢迎分享。这将为大家提供更多思路与选择，促进我们共同的成长与进步。期待您的宝贵建议与经验交流，非常感谢您的支持！

参考文献：

1. Chen, L., Wang, H., & Zhang, Y. (2021). A review of deep learning for object detection: Algorithms and applications. Journal of Visual Communication and Image Representation, 76, 103030.

2. Huang, Y., & Li, X. (2020). Real-time traffic sign recognition based on deep learning. Sensors, 20(3), 865.

3. Kim, J., Park, J., & Lee, S. (2022). A comprehensive review of image classification and segmentation for waste management. Waste Management, 145, 206-220.

4. Zhang, W., Wang, Y., & Liu, M. (2019). Traffic sign detection and recognition using YOLOv3. International Journal of Intelligent Transportation Systems Research, 17(2), 200-208.

5. Li, Y., Chen, H., & Yang, Y. (2023). Improving object detection in urban environments with YOLOv8: A case study on traffic signs. IEEE Transactions on Intelligent Transportation Systems, 24(1), 45-56.

6. Zhao, Y., Wang, T., & Hu, Y. (2021). Efficient garbage classification using convolutional neural networks. Journal of Cleaner Production, 286, 125516.

7. Yang, J., Zhang, Z., & Luo, W. (2022). A survey on deep learning methods for waste classification: Current trends and future directions. Journal of Environmental Management, 300, 113877.

8. Xu, R., & Xu, Q. (2020). Traffic sign detection and classification based on YOLOv4 and transfer learning. Applied Sciences, 10(4), 1342.

9. Sun, Y., & Zhang, Y. (2023). Multi-class garbage classification based on YOLOv8. Sensors, 23(2), 652.

10. Wang, X., Chen, H., & Li, Z. (2021). A novel approach for traffic sign detection in various environments using deep learning. Automotive Engineering, 13(6), 235-244.