【人脸58点关键点】基于面积对比法的脑卒中识别算法

摘要：根据临床研究，年龄在60至79岁之间的人患中风的风险很高。中风最明显的面部特征是表现不对称和口部的歪斜。在本研究中，我们提出了一种帮助患者进行自我判断的面部中风识别系统。采用回归树(ERT)方法跟踪面部标志。计算了左右两侧眼睛与口部左右两侧的的面积比和距离比得到对称指数。采用局部地形模式（Local Ternary Pattern）和Gabor滤波器（Gabor filter）分别用于增强和提取感兴趣区域(ROI)的纹理特征。并计算左右面部之间ROI的结构相似性。之后，修改了原始的特征选择算法来选择最佳的特征集。为了对面部中风进行分类，采用支持向量机(SVM)、随机森林(RF)和贝叶斯分类器（Bayesian Classifier）进行分类。实验结果表明，该系统能够准确、有效地区分中风和面部图像。SVM、随机森林和贝叶斯算法的识别准确度分别为100%、95.45%和100%。

背景：

面部下垂是中风和面部神经紊乱的一种症状。贝尔麻痹引起的贝尔麻痹，导致难以控制患者一侧的面部肌肉。之前的大部分研究都集中在贝尔氏麻痹上。通过主动形状模型(ASM)提取面部特征点，并使用局部二进制模式(LBP)来评估不同行为模式下面部的对称性[3]采用线性回归方法的增量并行级联进行了面部特征定位，并利用视频提取了特征点和轴向特征。其中一个是关于中风检测，演示了一个中风警告应用程序，它使用谷歌API提取特征点来检测下垂的嘴巴。

特征选择方法可以从原始特征集中获得更高程度的识别特征集。目前已有许多不同类型的特征选择算法，包括分支和边界算法、顺序向后选择(SBS)、顺序正向选择(SFS)和顺序正向浮动选择(SFFS)。在本文中，提出了一种新的基于SFFS的特征选择算法，称为随机生成的SFFS(RGSFFS)，来提取显著的面部特征。该系统会自动捕捉面部图像上的眼睛和嘴巴区域。然后，从每张脸上提取出89个面部特征。将RGSFFS应用于选择鉴别特征集。最后，基于选定的特征，利用支持向量机(SVM)、随机森林(RF)和贝叶斯分类器对面部中风进行了分类。实验结果表明，该方法取得了较好的识别效果。

方法：

面部中风识别系统由五个主要模块组成：（1）人脸检测、（2）面部坐标定位、（3）面部特征计算、（4）特征选择、（5）分类，如图所示。1.在人脸检测中，采用HOG特征与SVM相结合的方法进行跟踪人脸。检测到的面被进一步调整为大小100×100大小。基于回归树(ERT)方法来构建面部形状特征。在特征提取中，从面部点和感兴趣的区域计算了不对称指数和结构相似性。为了计算左右两侧的结构相似性，使用局部地形模式（Local Ternary Pattern）和Gabor滤波器来提取区域的文本特征。

在特征选择中，修改了原始的特征选择方法，并使用SVM、RF和贝叶斯作为分类器进行训练。最后，选择特定的功能集进行测试。

A．面部数据预处理

目前以后很多成熟的面部检测算法与坐标定位算法。本研究采用一种基于定向梯度(HOG)和支持向量机(SVM)的方法进行人脸检测。 检测到的人脸图像被标准化化为100×100像素的图片。回归树集合(ERT)用于跟踪60个面部地标点，如图所示。

计算内眦斜率，如（1）所示。 之后，通过计算斜率与水平线的夹角来对齐图像，如（2）所示：

 其中 EyeM 是左右内眦之间的斜率，P39和P42是第39和42，angle是旋转的角度。

B．特征提取

计算了与眼睛和嘴巴区域对应的区域的不对称指数和相似度。为了提取不对称指数，应用了两种关于局部点和感兴趣区域的方法。鉴于面部地标定位的60个坐标，Pi代表第i个地标。

1）Local Ternary Pattern（LTP）：LTP是local binary pattern（LBP）的扩展，其概念是将LBP扩展为3值码。 LTP可以在不同光线的影响下有效降低噪点，增强纹理特征。

2) Gabor Filter：使用 Gabor 滤波器提取5个尺度和8个角度下的纹理特征。

3）结构相似性（SSIM）：SSIM计算两幅图像的感知质量。

4）局部点对点的不对称指数：不对称指数由左右眼和嘴巴的斜率、面积比、距离比计算。

a）嘴巴的斜率：根据特征点P48和P54，嘴巴的斜率由式（3）得到。 越接近 1，嘴巴越对称。

 b) 眼睛面积比：通过特征点P36~P41和P42~P47计算左右眼的面积，如图2（a）所示。 面积比 (ratioEA) 的计算公式为 (4)，其中左眼的面积 (ALE) 的计算公式为 (5)，右眼的面积 (ARE) 也是如此。

c) 嘴巴面积比：左（P48，P49，P50，P51，P57，P58，P59）和右（ P51，P52，P53，P54，P55，P56，P57）部分的面积比（ALM和ARM），如图2（a）所示。ALM由(6)计算，ARM也是如此。然后嘴的左右部分的面积比（ratioMA）计算采用（7）。

 

d) 眼睑平均距离率：眼睑平均距离率由式(8)计算，其中DLE和DRE为左眼上下眼睑的平均距离(P37，P38，P40，P41) 和右 (P43，P44，P46，P47) 眼，如图 2(b) 所示。 DLE和可以计算为（9），DRE也是如此。

 

e) 嘴巴距离的平均比：计算上下点的嘴巴左（P49，P50，P58，P59）和右（P52，P53，P55，P56）边的距离和，然后计算嘴巴的平均距离（DLM和DRM），如图2（b）所示。DLM可以在用(10)计算，DRM也是如此。然后比较两个平均距离并计算平均距离比（ratioMD），如（11）所示。 

5）局部区域的相似度指数：除了计算点-点的不对称指数，还计算了区域的结构相似度。 人脸被分为眼睛和嘴巴，每个区域在LTP和Gabor上计算以增强和提取纹理特征，如图3所示。 

a)左右眼区域：xP28定义为左P39和右P42内眦的中心点。计算中心点 (xP28)与左右内眦之间的中心值（f1和f2）。之后，将人脸分为眼睛的左右两侧，得到值左上角的坐标。左眼矩形区域的左上角为点roiLE，右眼为点roiRE，区域大小为35×35，roiLE和roiRE的坐标可以使用（12）和（13)计算。

 

 

b) 嘴巴左右两侧区域：f3为P33和P51的中心点。之后，将人脸分为嘴巴的左右两侧，得到值左上角的坐标。Left-Mouth矩形区域的左上角为roiLM点，Right-Mouth矩形区域的左上角为roiRM点，区域大小为20×20，roiLM和roiRM的坐标可以使用（14）和（15)计算。

c) LTP 眼睛和嘴巴的 SSIM：使用 LTP 来减少不同光照的影响。LTP对每个区域进行描述后，计算左右眼、右眼、左眼的结构相似度。

d) Gabor 眼睛和嘴巴的SSIM：每个区域通过 Gabor 转换成40个纹理特征图，然后分别计算左右眼、右部分和左部分嘴的结构相似度。

C. 特征选择

随机生成顺序前向浮动搜索算法（RGSFFS）是顺序前向浮动搜索算法（SFFS）的扩展。 RGSFFS 包括三个主要步骤（生成、包含和排除），如算法Ⅰ所示。

D. 分类器训练

支持向量机 (SVM)、随机森林 (RF) 和贝叶斯分类器是使用最广泛的分类器。在本文中使用这三个分类器来识别人脸笔画。

数据集和实验：

为了证明所提出的 RGSFFS 算法的性能。 SVM、RF 和贝叶斯分类器使用所有特征、SFFS 选择的特征和提议的 RGSFFS 选择的特征进行训练。

A．测试数据集

本文从眼和口的区域提取了89个特征值，即不对称指数和结构相似性指数。总共有69张图像被用于训练和测试(表1).

B. 特征选择算法的比较

将 SVM、RF 和 Bayes与所有特征（非特征选择）、SFFS 和 RGSFFS 的分类精度和特征数量进行了比较，如表 II 所示。 SVM中非特征选择、SFFS和RGSFFS的准确率分别为81.8%、90.09%和100%。 RGSFFS 的准确率提高了9.91%，特征数从66个减少到53个，这意味着在 SVM 中可以使用相对较少的特征数来获得更好的准确率。并且在贝叶斯中使用SFFS和RGSFFS的准确率是一样的，特征数量从17个减少到9个，说明RGSFFS的9个特征比SFFS的特征更具辨别力。

C. 其他方法的比较

使用笔画数据集来实现 Kim 等人提出的特征和分类器(表三)。显示了提出的方法与 Kim 等人的方法的比较结果。实验结果表明，所提出的方法比Kim的方法具有更高的精度。

目前算法呈现还在完善中，欢迎讨论。

如果本篇文章对你有帮助，还请一键三连【开心】