Tongue Shape Classification Intergrating Image Preprocessing and Convolutin总结

---

摘要

提出了一种基于卷积神经网络的舌形识别方法。该方法通过预处理增强了舌头图像的特征，以确保舌形图像适合于二分类。针对舌头的特殊纹理和轮廓，采用Gabor滤波器对点刺舌和舌裂舌的全舌图像进行变换，并通过边界检测方法对牙标进行处理。基于常用的Alex-net 网络模型，使用批量标准化对网络进行优化，以提高网络效率。实验结果表明，预处理方法提高了舌形分类的准确度，同时缩短了训练模型的时间。

---

方法

我们的工作主要是基于三种不同的舌头形状特点：齿标舌（tooth-marked tongue)，点刺舌和裂舌。使用Gabor滤波器算法和边缘提取方法进行预处理，然后利用优化的具有批标准化层的卷积神经网络对舌像进行训练，并且学习舌形的自动识别。

图形预处理方法

针对不同的舌形纹理和轮廓特征，使用不同的图像预处理方法。裂舌和点刺舌具有很强的纹理特征，所以更适合使用Gabor滤波算法。由于齿标舌具有很明显的轮廓，采用轮廓提取算法。

1. 基于Gabor滤波算法的舌形处理
   Gabor滤波器是使用最广泛的纹理信息提取工具之一，它对舌形识别具有很好的效果。
   Gabor基本函数的表达式在空域和频域是不同的。相比于Gabor滤波器的频域表达式，空域表达式表示滤波器转换的卷积核通过离散表达转换一幅图像。

   
   
   
   
   

   从式（1）和（2）可以看出，Gabor核函数高斯包络和复平面波的产物。在这个方程中，μ和v 分别用于指定过滤目标的方向和比例。z=(x, y)表示卷积核中心对应的像素坐标，||·||表明L2-type类型操作符。delt表示高斯窗口的对应标准偏差，它决定了高斯包络的纵横比。
   通过Gabor滤波算法，增强了图像的特征。然而，使用Gabor滤波器处理图像之后，由于点刺舌和裂舌不同的纹理特征，它们之间的操作几乎没什么不同。裂舌的预处理意味着，其大小小于30RGB的连通区域由白色覆盖。然而，点刺舌不进行二值化处理，直接保留灰度值。

2. 基于轮廓提取方法的舌形预处理
   根据齿标舌的特点，本文提出了一种提高图像特诊、提高精度的轮廓检测方法。
   首先，对图像中的B和G值进行减法操作，根据Ostu方法确定阈值，对图像进行规范化并进行二值化操作；第二步，填充二值图像的最大连通区域，平滑毛刺得到mask1；第三步，判断非红色像素得到mask2；最后，删除小于300的连通区域，填充区域内的小黑点以获得mask3，并在mask3上直接提取线。

深度学习模型的结构

1. CNN的理论
   CNN是一个多层感知器，用来识别二维形状。网络的结构主要有两个特点：稀疏连接和权值共享。同时还包括以下形式的约束：
   特征提取：每个神经元接收来自上层的局部接受域的突触输入，进行特征提取，一点一个特征被提取出来，它的精确位置就变得不那么重要了，只有相对位置别保留。
   特征映射：网络的每个计算层由多个特征映射组成。每个特征映射的形式是平面，平面上的单个神经元在约束条件下共享权重，具有以下作用：旋转不变性，减少参数量。
   子采样：每个卷积层后都有一个计算层，它用来实现局部平均和子采样，从而减少了特征映射的分辨率。

2. 优化CNN
   通过微调深度神经网络的参数，使用一般的神经网络和它的变体对舌形进行分类。我们的目的是区分不同的舌形，不仅获得更高的准确度，而且减少训练时间。为了提高效率，对网络结构进行了改进。
   我们改进了包含8层的Alex-net，前5层是卷积层，其它3层是全连接层。基于Alex-net，在卷积层后添加了批标准化层，提高了效率。
   改进的网络如图1：

   
   
   

   图1 网络结构
   
   

   前两层的卷积层后直接跟一个响应归一化层(response-normaliztion)，记作norm1和 norm2。此外，每个卷积层后都跟一个批标准化层，每个批标准化层和全连接层后都跟一个ReLU操作。最大池化层在norm1、norm2和第5层卷积层之后。Dropout操作在最后两个全连接层进行。