人脸表情识别

最新推荐文章于 2024-10-06 15:40:08 发布
最新推荐文章于 2024-10-06 15:40:08 发布
阅读量3.4k 收藏 2
点赞数 1
分类专栏： 人工智能学习之路 文章标签： 计算机视觉 opencv python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_61682562/article/details/121940587
版权

目录

一、训练思路

  • 得到模型

1、opencv读取数据集
2、dlib人脸检测器定位人脸
3、获取每张图片的HOG特征向量组
4、利用SVM进行训练
5、得出模型并保存

  • 使用模型

1、读取模型，读取照片或者打开摄像头进行实时检测
2、将每一帧或者图片的HOG特征值提取出来并预测
3、得出结果并显示出来

二、代码

  • 导包
# 导入包
import numpy as np
import cv2
import dlib
import random#构建随机测试集和训练集
from sklearn.svm import SVC #导入svm
from sklearn.svm import LinearSVC #导入线性svm
from sklearn.pipeline import Pipeline #导入python里的管道
import os
import joblib#保存模型
from sklearn.preprocessing import StandardScaler,PolynomialFeatures #导入多项式回归和标准化
import tqdm
  • 文件路径
folder_path='F:/jupyter/source/picture/genki4k/'
label='labels.txt'#标签文件
pic_folder='files/'#图片文件路径
  • 获得默认的人脸检测器和训练好的人脸68特征点检测器
#获得默认的人脸检测器和训练好的人脸68特征点检测器
def get_detector_and_predicyor():
    #使用dlib自带的frontal_face_detector作为我们的特征提取器
    detector = dlib.get_frontal_face_detector()
    """
    功能：人脸检测画框
    参数：PythonFunction和in Classes
    in classes表示采样次数，次数越多获取的人脸的次数越多，但更容易框错
    返回值是矩形的坐标，每个矩形为一个人脸（默认的人脸检测器）
    """
    #返回训练好的人脸68特征点检测器
    predictor = dlib.shape_predictor('shape_predictor_68_face_landmarks.dat')
    return detector,predictor
#获取检测器
detector,predictor=get_detector_and_predicyor()
  • 定义截取面部函数
def cut_face(img,detector,predictor):   
    #截取面部
    img_gry=cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
    rects = detector(img_gry, 0)  
    if len(rects)!=0:
        mouth_x=0
        mouth_y=0
        landmarks = np.matrix([[p.x, p.y] for p in predictor(img,rects[0]).parts()])
        for i in range(47,67):#嘴巴范围
            mouth_x+=landmarks[i][0,0]
            mouth_y+=landmarks[i][0,1]
        mouth_x=int(mouth_x/20)
        mouth_y=int(mouth_y/20)
        #裁剪图片
        img_cut=img_gry[mouth_y-20:mouth_y+20,mouth_x-20:mouth_x+20]
        return img_cut
    else:
        return 0#检测不到人脸返回0
  • 定义提取特征值的函数
#提取特征值
def get_feature(files_train,face,face_feature):
    for i in tqdm.tqdm(range(len(files_train))):
        img=cv2.imread(folder_path+pic_folder+files_train[i])
        cut_img=cut_face(img,detector,predictor)
        if type(cut_img)!=int:
            face.append(True)
            cut_img=cv2.resize(cut_img,(64,64))
            #padding:边界处理的padding
            padding=(8,8)
            winstride=(16,16)
            hogdescrip=hog.compute(cut_img,winstride,padding).reshape((-1,))
            face_feature.append(hogdescrip)
        else:
            face.append(False)#没有检测到脸的
            face_feature.append(0)
  • 定义筛选函数
def filtrate_face(face,face_feature,face_site): #去掉检测不到脸的图片的特征并返回特征数组和相应标签   
    face_features=[]
    #获取标签
    label_flag=[]
    with open(folder_path+label,'r') as f:
        lines=f.read().splitlines()
    #筛选出能检测到脸的，并收集对应的label
    for i in tqdm.tqdm(range(len(face_site))):
        if face[i]:#判断是否检测到脸
            #pop之后要删掉当前元素，后面的元素也要跟着前移，所以每次提取第一位就行了
            face_features.append(face_feature.pop(0))
            label_flag.append(int(lines[face_site[i]][0])) 
        else:
            face_feature.pop(0)
    datax=np.float64(face_features)
    datay=np.array(label_flag)
    return datax,datay
  • 定义多项式SVM
def PolynomialSVC(degree,c=10):#多项式svm
    return Pipeline([
            # 将源数据 映射到 3阶多项式
            ("poly_features", PolynomialFeatures(degree=degree)),
            # 标准化
            ("scaler", StandardScaler()),
            # SVC线性分类器
            ("svm_clf", LinearSVC(C=10, loss="hinge", random_state=42,max_iter=10000))
        ])
  • 定义训练函数
def train(files_train,train_site):#训练
    '''
    files_train:训练文件名的集合
    train_site :训练文件在文件夹里的位置
    '''
    #是否检测到人脸
    train_face=[]
    #人脸的特征数组
    train_feature=[]
    #提取训练集的特征数组
    get_feature(files_train,train_face,train_feature)
    #筛选掉检测不到脸的特征数组
    train_x,train_y=filtrate_face(train_face,train_feature,train_site)
    svc=PolynomialSVC(degree=1)
    svc.fit(train_x,train_y)
    return svc#返回训练好的模型
  • 定义测试函数
def test(files_test,test_site,svc):#预测，查看结果集
    '''
    files_train:训练文件名的集合
    train_site :训练文件在文件夹里的位置
    '''
    #是否检测到人脸
    test_face=[]
    #人脸的特征数组
    test_feature=[]
    #提取训练集的特征数组
    get_feature(files_test,test_face,test_feature)
    #筛选掉检测不到脸的特征数组
    test_x,test_y=filtrate_face(test_face,test_feature,test_site)
    pre_y=svc.predict(test_x)
    ac_rate=0
    for i in range(len(pre_y)):
        if(pre_y[i]==test_y[i]):
            ac_rate+=1
    ac=ac_rate/len(pre_y)*100
    print("准确率为"+str(ac)+"%")
    return ac
  • 构建HOG特征提取器
#设置hog的参数
winsize=(64,64)
blocksize=(32,32)
blockstride=(16,16)
cellsize=(8,8)
nbin=9
#定义hog
hog=cv2.HOGDescriptor(winsize,blocksize,blockstride,cellsize,nbin)
#获取文件夹里有哪些文件
files=os.listdir(folder_path+pic_folder)
  • 使用10-fold cross validation
ac=float(0)
for j in range(10):
    site=[i for i in range(4000)]
    #训练所用的样本所在的位置
    train_site=random.sample(site,3600)
    #预测所用样本所在的位置
    test_site=[]
    for i in range(len(site)):
        if site[i] not in train_site:
            test_site.append(site[i])
    files_train=[]
    #训练集,占总数的十分之九
    for i in range(len(train_site)):
        files_train.append(files[train_site[i]])
    #测试集
    files_test=[]
    for i in range(len(test_site)):
        files_test.append(files[test_site[i]])
    svc=train(files_train,train_site)
    ac=ac+test(files_test,test_site,svc)
    save_path='F:/jupyter/source/model/smile'+str(j)+'(hog).pkl'
    joblib.dump(svc,save_path)
ac=ac/10
print("平均准确率为"+str(ac)+"%")

在这里插入图片描述

  • 检测函数
def test1(files_test,test_site,svc):#预测，查看结果集
    '''
    files_train:训练文件名的集合
    train_site :训练文件在文件夹里的位置
    '''
    #是否检测到人脸
    test_face=[]
    #人脸的特征数组
    test_feature=[]
    #提取训练集的特征数组
    get_feature(files_test,test_face,test_feature)
    #筛选掉检测不到脸的特征数组
    test_x,test_y=filtrate_face(test_face,test_feature,test_site)
    pre_y=svc.predict(test_x)
    tp=0
    tn=0
    for i in range(len(pre_y)):
        if pre_y[i]==test_y[i] and pre_y[i]==1:
            tp+=1
        elif pre_y[i]==test_y[i] and pre_y[i]==0:
            tn+=1
    f1=2*tp/(tp+len(pre_y)-tn)
    print(f1)
  • 加载刚刚保存本地模型然后调用检测函数看一下结果
svc7=joblib.load('F:/jupyter/source/model/smile9(hog).pkl')
site=[i for i in range(4000)]
#训练所用的样本所在的位置
train_site=random.sample(site,3600)
#预测所用样本所在的位置
test_site=[]
for i in range(len(site)):
    if site[i] not in train_site:
        test_site.append(site[i])
#测试集
files_test=[]
for i in range(len(test_site)):
    files_test.append(files[test_site[i]])
test1(files_test,test_site,svc7)

在这里插入图片描述

  • 调用模型检测
def smile_detector(img,svc):
    cut_img=cut_face(img,detector,predictor)
    a=[]
    
    if type(cut_img)!=int:
        cut_img=cv2.resize(cut_img,(64,64))
    #padding:边界处理的padding
        padding=(8,8)
        winstride=(16,16)
        hogdescrip=hog.compute(cut_img,winstride,padding).reshape((-1,))
        a.append(hogdescrip)
        result=svc.predict(a)
        a=np.array(a)
        return result[0]
    else :
        return 2
  • 图片检测实例
##图片检测
pic_path='F:/jupyter/source/picture/test.jpg'
img=cv2.imread(pic_path)
result=smile_detector(img,svc7)
if result==1:
    img=cv2.putText(img,'smile',(21,50),cv2.FONT_HERSHEY_COMPLEX,2.0,(0,255,0),1)
elif result==0:
    img=cv2.putText(img,'no smile',(21,50),cv2.FONT_HERSHEY_COMPLEX,2.0,(0,255,0),1)
else:
    img=cv2.putText(img,'no face',(21,50),cv2.FONT_HERSHEY_COMPLEX,2.0,(0,255,0),1)
cv2.imshow('video', img)
cv2.waitKey(0)
  • 检测效果，可以看到没有检测出笑容

在这里插入图片描述

  • 摄像头实时监测
camera = cv2.VideoCapture(0)#打开摄像头
ok=True
flag=0
# 打开摄像头 参数为输入流，可以为摄像头或视频文件
while ok:
    ok,img = camera.read()
     # 转换成灰度图像
    result=smile_detector(img,svc7)
    if result==1:
        img=cv2.putText(img,'smile',(21,50),cv2.FONT_HERSHEY_COMPLEX,2.0,(0,255,0),1)
    elif result==0:
        img=cv2.putText(img,'no smile',(21,50),cv2.FONT_HERSHEY_COMPLEX,2.0,(0,255,0),1)
    else:
        img=cv2.putText(img,'no face',(21,50),cv2.FONT_HERSHEY_COMPLEX,2.0,(0,255,0),1)
    cv2.imshow('video', img)
    k = cv2.waitKey(1)
    if k == 27:    # press 'ESC' to quit
        break
    elif k==115:
        pic_save_path='F:/jupyter/source/picture/result/'+str(flag)+'.jpg'
        flag+=1
        cv2.imwrite(pic_save_path,img)
camera.release()
cv2.destroyAllWindows()

三、总结

整个过程是在前面实验的基础上完成的，相当于是一个综合应用。

四、参考资料

微笑识别(HOG+SVM+opencv+python)

今天还是没学懂
关注
专栏目录
转：人脸表情识别综述
wangzuojoe的专栏
12-29 2055
人脸表情识别综述  一、人脸表情识别技术目前主要的应用领域包括人机交互、安全、机器人制造、医疗、通信和汽车领域等 二、1971年，心理学家Ekman与Friesen的研究最早提出人类有六种主要情感，每种情感以唯一的表情来反映人的一种独特的心理活动。这六种情感被称为基本情感，由愤怒（anger）、高兴(happiness)、悲伤 (sadness)、惊讶(surprise)、厌恶(d
微笑识别(HOG+SVM+opencv+python)
qq_53329531的博客
12-21 3694
可小阿木一，准备二，代码三，总结四，参考 一，准备 dlib库下载：提取码1111 dlib环境配置 数据集下载 python 3.8 opencv 3.4.11 二，代码 老规矩，先导入包 # 导入包 import numpy as np import cv2 import dlib import random#构建随机测试集和训练集 from sklearn.svm import SVC #导入svm from sklearn.svm import LinearSVC #导入线性svm from skl
毕业设计 基于深度学习的人脸表情识别(源码+论文)
最新发布
rjqqew的博客
10-06 425
🔥这两年开始毕业设计和毕业答辩的要求和难度不断提升，传统的毕设题目缺少创新和亮点，往往达不到毕业答辩的要求，这两年不断有学弟学妹告诉学长自己做的项目系统达不到老师的要求。为了大家能够顺利以及最少的精力通过毕设，学长分享优质毕业设计项目，今天要分享的是🚩毕业设计 基于深度学习的新闻文本分类算法系统(源码+论文)🥇学长这里给一个题目综合评分(每项满分5分)难度系数：3分工作量：3分创新点：4分🧿 项目分享:见文末!
人工智能与机器学习——人脸表情识别
dedsec0x的博客
11-29 8716
一、人脸特征提取的步骤 ①数据集 这里我们使用GENKI-4K数据集去进行我们的实验，GENKI-4K一共包含4000个图像,分为“笑”和“不笑”两种,每个图片拥有不同的尺度大小,姿势,光照变化,头部姿态,可专门用于做笑脸识别。这些图像包括广泛的背景，光照条件，地理位置，个人身份和种族等。 ②定义 训练/测试：将图片分为训练集和测试集，训练集中的图片是用来训练模型，测试集的图片是用来对模型进行测试和评价的。 阳性样本：笑脸的图片。 阴性样本：不笑的图片 F1分数：用来衡量你的模型。...
SVM实现人脸识别
Baker的博客
12-19 3959
一、训练 # 导入包 import numpy as np import cv2 import dlib import random#构建随机测试集和训练集 from sklearn.svm import SVC #导入svm from sklearn.svm import LinearSVC #导入线性svm from sklearn.pipeline import Pipeline #导入python里的管道 import os import joblib#保存模型 from sklearn.prepr
人脸表情识别系统源码.zip
04-22
人脸表情识别系统是一种利用计算机视觉和深度学习技术来解析、理解和分类人类面部表情的应用。在这个项目中，我们主要关注的是基于Python的人脸表情识别系统。Python作为一种强大的编程语言，因其丰富的库支持和简洁...
YOLOv8算法人脸表情识别训练权重+数据集
05-25
yolov8算法人脸表情识别训练权重， 包含人脸表情识别数据集，数据集目录已经配置好，划分好 train，val, test，并附有data.yaml文件，yolov5、yolov7、yolov8，yolov9等算法可以直接进行训练模型，txt格式标签， ...
人脸表情识别图像(FERC)数据集
12-18
人脸表情识别是计算机视觉领域中的一个重要研究课题，它涉及到人工智能、模式识别、机器学习等多个交叉学科。本数据集，名为“人脸表情识别图像(FERC)数据集”，包含35000张图片，专为训练和测试人脸识别算法而设计...
yolov5算法人脸表情识别训练权重+训练数据集+pyqt界面
05-25
yolov5算法人脸表情识别训练权重， 包含人脸表情识别数据集，数据集目录已经配置好，划分好 train，val, test，并附有data.yaml文件，yolov5、yolov7、yolov8，yolov9、yolov10等算法可以直接进行训练模型，txt格式...
ck+人脸表情识别数据集
08-23
"CK+人脸表情识别数据集"是一个广泛应用于情感分析和计算机视觉领域的数据集，它包含了大量的面部表情图像，主要用于训练和测试人脸识别算法。这个数据集的设计目的是推动在真实世界环境中的人脸表情理解技术的发展...
人脸表情识别，笑脸，哭脸等7种表情
07-27
人脸表情识别，笑脸，哭脸等7种表情，非常好用，，，好资源
Python微笑识别
01-19
python实现的微笑识别，用了OPENCV，亲测可用，添加了保存功能
[机器学习]微笑识别
weixin_47593895的博客
12-28 705
文章目录一、实验准备二、图片预处理三、划分数据集四、CNN提取人脸识别笑脸和非笑脸1、创建模型2、归一化处理3、数据增强4、创建网络5、单张图片测试6、摄像头实时测试五、Dlib提取人脸特征识别笑脸和非笑脸六、参考链接 一、实验准备 环境搭建 pip install tensorflow pip install keras pip install dlib==19.6.1 pip install h5py==2.1 注意tensorflow.contrib模块只有只在python3.6或3.7才有 使
Java基于OpenCV+Hog+SVM实现微笑检测
xyj_xyjxyj的博客
12-24 2193
Java基于OpenCV+Hog+SVM实现微笑检测1、配置Java的OpenCV环境2.进行训练1.读取所有的图2.随机分组3.计算梯度值4.提取Hog值5.训练模型6.模型7.结果三、预测四，参考 1、配置Java的OpenCV环境 参考 Java开发Opencv之(一)开发环境安装与配置 2.进行训练 1.读取所有的图 public static void getFace(String filePath) { System.out.println("读取人脸......");
BP神经网络实现人脸表情识别技术
资源摘要信息:"BP人脸表情识别" BP神经网络（Back Propagation Neural Network）是一种多层前馈神经网络，它通过反向传播算法进行训练，常用于分类和回归任务。BP神经网络由输入层、隐藏层（一个或多个）和输出层...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值