【Gabor】基于多尺度多方向Gabor融合+分块直方图的表情识别

Topic：表情识别
Env： win10 + Pycharm2018 + Python3.6.8
Date:   2019/6/23~25 by hw_Chen2018                                  CSDN: https://blog.csdn.net/qq_34198088/article/details/97895876
【感谢参考文献作者的辛苦付出；编写不易，转载请注明出处，感谢！】
一.简要介绍
　　本文方法参考文献【1】的表情识别方法，实验数据集为JAFFE，实验方法较为传统：手工设计特征+浅层分类器，选择常规的划分训练集与测试方法：70%训练集、30%测试集。最后识别正确率73%，比不上目前深度学习方法，想要学习深度学习的朋友，抱歉本文不能提供任何帮助，不过做为Gabor滤波器的学习，可以作为参考。
二.数据集
　　实验中采用Jaffe数据库，数据库中包含了213幅（每幅图像的分辨率：256像素×256像素）日本女性的脸相，每幅图像都有原始的表情定义。表情库中共有10个人，每个人有7种表情（中性脸、高兴、悲伤、惊奇、愤怒、厌恶、恐惧）。JAFFE数据库均为正面脸相，且把原始图像进行重新调整和修剪，使得眼睛在数据库图像中的位置大致相同，脸部尺寸基本一致，光照均为正面光源，但光照强度有差异。【2】
三.Gabor滤波器
　　Gabor小波与人类视觉系统中简单细胞的视觉刺激响应非常相似。Gabor小波对于图像的边缘敏感，能够提供良好的方向选择和尺度选择特性，而且对于光照变化不敏感,能够提供对光照变化良好的适应性。因此Gabor小波被广泛应用于视觉信息理解。
在空域，一个2维的Gabor滤波器是一个正弦平面波和高斯核函数的乘积。【2】
                                

Gabor滤波器的表达式如下：
                                                                                                    
　　每个参数的意义以及对比图，可参考【3】
三.实验过程
1.数据库中灰度图分辨率是256256，实验中所用到的是进过裁剪的人脸图像，大小为48*48。  

                                                               
2.构建多尺度、多方向Gabor滤波器，实验中构建的滤波器尺度为5，方向数为8，下图就是所构建的Gabor滤波。值得注意的是通过Gabor滤波得到的结果是一个复数，在实验中只选用了实部进行实验，后面展示的一些结果图都是结果的实部。

                                                              
3.人脸多尺度多方向特征

4.我们前面得到了5个尺度，8个方向的Gabor特征图，融合规则是对每个尺度进行操作，融合的第一步是，在同一尺度下，每个方向的特征图中，逐像素与0比较，大于0的置1，小于等于0置0，之后对每个像素进行二进制编码，在右边公式中，u代表方向序号，v代表尺度，对于融合后的图像的每个像素，它等于每个方向的的二进制编码之和。更多融合方法可查阅文献【1】。



5.分块直方图
　　前面滤波器也提到，Gabor滤波器具有很好的局部特性和方向特性，而图像直方图从图像整体分布角度考虑，反映了图像的统计特性，但是却丢失了图像结构特性，因此【1】中避免使用全局图像直方图，采用分块直方图的方法，即保持了Gabor的局部细节，又保持了一定的结构特性。本文划分成36个小块。


6.降维与分类器训练
由于经过分块直方图后特征维数46080，相对于共213个样本的JAFFE数据集来说，维数偏高，同时也存在特征冗余，即并不是所有特征都对分类起积极作用，这里使用比较简单的PCA进行降维和特征选择，感兴趣的朋友可以搜下其他的特征选择，比如常用的包裹式、过滤式等等的特征选择方法以及以流形学习为代表的非线性降维方法等等。选择前13个主成分，贡献率达到90%。使用随机森林进行分类。

四.实验结果与分析

                                                        ROC曲线                                                                                            PR曲线                                                                   
                 

混淆矩阵

(1)对于实验中使用的特征提取及构建的分类器，通过ROC曲线可知，各类别中分类准确率最高的是第一类，对于测试集全部分类正确，其AUC等于1；分类正确率最低是第三类，低于平均正确率，其AUC等于0.83。
(2) 对于实验中使用的特征提取及构建的分类器，通过PR曲线可知，各类别中分类准确率最高的仍然是第一类，对于测试集全部分类正确，PR曲线面积等于1；分类正确率最低仍然是第三类，同样低于平均正确率，PR曲线面积等于0.584。
(3)通过混线矩阵可以很直观看出，分类器容易把第二类分成第一类，分类结果最好的仍然是第一类。

五.实验代码
1.提取特征并保存在CSV文件中。(部分代码参考了OpenCV中Gabor滤波器)

# coding:utf-8
# ------------------------------------
# topic: discrete express recognition
# method: Gabor Multi-orientation Features Fusion and Block Histogram  +  random forest
# source: 刘帅师等: 基于 Gabor 多方向特征融合与分块直方图的人脸表情识别方法 等
# env: win10 + pycharm + Python3.6.8
# date: 2019/6/21~25
# author: Chen_hw
# CSDN：https://blog.csdn.net/qq_34198088
# 编写不易，转载请注明出处！
# ------------------------------------
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import cv2
from scipy import signal
import matplotlib
import time
import csv
matplotlib.rcParams['font.sans-serif'] = ['SimHei']
matplotlib.rcParams['font.family'] = 'sans-serif'
matplotlib.rcParams['axes.unicode_minus'] = False

class DiscreteAffectModel(object):
    def __init__(self, dataset_path):
        self.emotion ={0:'Angry', 1:'Disgust', 2: