深度学习在中医当中的作用；U-net在舌诊中的突出表现。

                                                        一：舌象诊断

### 舌象采集：

在图像采集过程中，由于采集仪器不同，图像的大小也不同。为了提高训练效率和节省内存空间，深度学习网络对输入的图片有限制，因此在预处理时需要统一图片大小。处理方法一般是重塑输入图像大小，以方便模型训练。常用的重塑方法是“插值”、“裁剪”、“包含”、“平铺”和“镜像”

1. **摄像设备选择**：选择具有高分辨率和色彩还原能力的数字相机或专业医疗成像设备。

2. **标准化拍摄条件**：

   - 控制光线：保证光源均匀且不刺眼，避免阴影干扰。

   - 确保对焦：确保图像清晰度，关注于细微的舌部纹理。

   - 稳定姿势：确保患者头部位置固定，让舌头暴露并保持稳定

Song 等人。 11 在手机终端应用LBP（Local Binary Patterns）结合Adaboost算法，实现近乎实时的舌头图像检测，在不设置场景的情况下，通过残差网络通过深度学习算法实现图像分析的准确性。为了构建基于手机终端的舌头图像色彩校正函数模型，Wang等。 12 将不同型号手机拍摄的舌头图像与TDA-1微舌诊断仪拍摄的舌头图像进行比较，分析了300多例舌头图像，用于标准色卡L*a*b色值采集;以优化的反向传播（BP）神经网络为模型，构建的网络可以校正舌头颜色和苔藓颜色。移动设备捕获的舌头图像通常具有极其复杂的照明和背景环境，因此在分析之前需要对其进行算法预处理

左LDS色诊仪，右日本团队研发的TIAS

上海钧控研发的舌诊仪器，采用D65自然光

http://www.junctrl.cn/uploadfile/202206/052cafa7287488a.jpg

问题：雾气、曝光不足、曝光过度、伸舌姿势异常、对焦不齐、舌上异物、漏光等情况，仪器完善不足

1)采集环境的影响:由于在自然环境下采集,不同个体的环境背景干扰各不相同,存在光源色温、光线强弱不一致和是否存在遮挡物的问题;

2) 拍摄设备的影响:不同数码设备的成像方式和成像质量不尽相同,以及拍摄角度不一致问题,会导致采集到舌像数据的颜色失真、分辨率过低、曝光过度等问题;

3) 个体差异的影响:不同的个体,其舌体部位的生理特征存在差别,具体体现在尺寸、形态、颜色方面。

4) 背景区域的影响:脸部和唇部等背景与舌体区域的颜色比较相似,容易对舌像检测造成干扰,但在采集过程又不可避免。

解决：

许家佗团队提出应用 、ResNet152、DenseNet-169（卷积，残差，密集）等3种CNN模型解决该问题的方法ResNet 和 DenseNet 的分类准确率超过了 98%

GCYTD 算法能够在复杂的自然环境下，快速准确地定位舌像，且不受光源色温、光线强弱、拍摄角度、设备差异等不确定因素的影响。

### 舌象分割：

一般是将舌像细分为不同的区域,使得舌像变得更加容易理解、更有意义的技术和过程,

几种算法检测对比示例

图像分割：基于深度学习的舌头图像分割模型主要分为两类， 82 一个是U-Net83,84和 Seg-Net85,86从全卷积网络（FCN）演化而来，另一个是从CNN改进而来的Mask R-CNN， 87 广泛应用于各种类型的医学图像分割

**图像预处理**：如图高光谱图像去噪（SDeCNN算法）

Li et al. 108 提出利用高光谱舌头捕捉舌头图像，然后利用隐马尔可夫模型将舌裂分为12类，该方法在舌头分类方面表现出良好的效果

   进行光补偿、色彩校正、 几何变换等光补偿在图像处理中应用广泛，常见的光补偿方法有Gray World色彩均衡算法和基于白色参考图像的算法：Yu et al. 47 提出了一种在没有白色参考图像的情况下消除光不平衡的方法，即通过分割图像，估计不同背景图像的光差，然后进行光补偿来获得背景。该方法可用于分割显微医学图像以及其他医学图像。相机采集的舌头图像由于照明不均匀而产生噪点，严重影响图像质量。 48 这可以通过阈值化、扩大对比度、降低灰度值和滤除噪声等方式在低级图像处理、图像的点处理、图像的中值滤波等方面来完成。该方法可以减少预处理过程中产生的偏差，同时提高图像处理速度色彩校正主要包括环境光照条件校正、色彩空间校正、色卡色彩校正和算法校正

- 噪声去除：利用滤波器如高斯滤波降低图像噪声。

        - 灰度化：将彩色图像转换为灰度图像以便后续处理。

        - 对比度增强：调整图像对比度以凸显舌部区域。

2. **分割技术**：

   - 阈值分割：根据像素灰度值选取合适阈值进行分割。

（阈值法主要利用舌象与背景颜色的差异，通过设置阈值对图像的像素点进行分类，从而实现舌头的定位与分割。其优点是算法实现简单，计算效率高，但是该算法对图像的要求较高，鲁棒性差。）

采用动态阈值分割算法提取舌体初始轮廓，采用舌体校正模型得到最终舌体。数据证明，该提取方法得到的图像在抗噪性和准确性方面具有优越性，在舌体凹凸区域也具有良好的分割效果。（反2进制阈值化分割）

- 边缘检测：应用算子（如Sobel算子）识别舌部边缘。问题：边缘信息易丢失

- 深度学习方法：使用深度学习模型进行语义分割，如U-Net、Mask R-CNN，GraphCut，FCN2s  但如U-Net内存过大，不易部署到移动端，如下几种分割效果：

Zhang et al. 103 还针对不明确的舌头分割问题设计了一种端到端的舌头图像分割方法， 104 它结合了 DCNN 和全连接的 CRF 来细化分割的图像边缘。该算法优于传统的舌语图像分割算法和主流深度学习方法，分割准确率平均为95.41%。

传统的语义分割任务存在一些问题：CNN中连续的池后缩减采样导致空间分辨率下降;尺度检测需要重新缩放和聚合特征图，这会导致过多的计算工作量。图像分类任务需要保证空间变换是不变的，因此引入了Deeplab结构

为了解决舌头拔出过程中边缘模糊和细节干扰的问题，Huang et al. 112 设计了一种使用增强型全卷积网络、编码器-解码器结构的自动舌形图像分割方法，平均灵敏度为98.97%，优于SegNet、FCN、PSPNet和DeepLab v3+四种算法

2：语义分割算法是用一个与相邻像素类别和该像素点所属的整体类别相关的类别来标记图像的每个像素点，如U-net，seg-net

U-NET语义分割模式图

（U型状）

现状：较为完善；如使用孔卷积空间金字塔池化模块（ASPP）（张新锋等提出了一种端到端的舌像分割算法，该算法采用空洞卷积和空间金字塔池化模块，扩大了网络的感受野，从多个 尺度学习舌像特征，同时采用CRF全连接层细化舌体边缘的特征信息，实验结果表明 PA 值达到了 99.85%），将深度卷积神经网络（DCNNs）和全连接的条件随机场 （CRFs）相结合的方法进行舌图像分割，具有较高的分割精度，mIoU达95.41%。

（ DeepLabv3+网络结构图）

舌象边缘信息容易丢失 语义分割很难处理舌裂纹 ，精度不高

单独应用深度学习网络SBDL来提取和识别舌头裂缝 ，如图：         

1. 采用目标检测和舌象高分辨率特征的双阶段舌象分割方法，mIoU可达98.2%；

如改进的 YOLO V4-tiny 舌像定位检测算法，更适于小目标检测（K-Means ，模糊C均值）但精度，速度低（已改进GCYTD 算法）    采用粗分割网络 Rsnet定位舌体，精分割网络Fs-net对定位的舌体进行精细分割，最高F值超过99%。

受限于分割的舌象数据集大都是标准条件采集的样本，噪声小，未来应建立全场景的高效自动分割模型。

### 舌象特征提取：

1. **形状特征**：

   - 轮廓提取：利用边缘检测算法获取舌部轮廓信息。

   - 形状描述符：计算面积、周长、圆度等形状特征。

     形质识别：现状：特殊如齿痕，腐腻等不能全面分析。针对齿痕、裂 纹等单一形质特征的研究较深入：

舌象分类

1. 运用深度残差神经网络ResNet（AB-ResNet18等变种更高）（对齿痕舌进行识别，准确率达90%，对腻苔的识别分类准确率超过88%，使用加权梯度类激活映射技术对识别齿痕的图像特征区域进行可视化分析。
2. 应用预训练的卷积 Inception_v3模型提取舌象点、线等有效特征，再使用 全连接神经网络对特征进行训练分类，分类准确率可达93.98%。

问题：各类算法准确率高，但局限（如多任务CNN的舌象分类模型特征不全面），采用多目标检测算法但不能高效益（如迁移Faster R-CNN模型针对语言分类训练中深度学习中训练设备要求高、训练时间长等问题提出）

综合： 高效精准识别、定位、量化复杂多样的舌象形质细粒度特征是重点

方法：借助深度学习3D RFCR网络模型 、3D MeshCNN等模型有望实现三维舌象图像可视化表达，如双目立体视觉，结构光法

2. **颜色特征**：

   - 颜色分类：

RGB、Lab、HIS、YCrCb测量可视化颜色，利用RGB和CIE实验室颜色模型之间的转换关系，得到离散色谱分布

U-Net与判别滤波学习多任务联合的CNN模型，用于不同类型的舌苔分类识别， 分类F1-

Score达93%（EA-UNet等变种更高）。（𝐹1 − 𝑠𝑐𝑜𝑟𝑒 = 2𝑇𝑃 /（2𝑇𝑃+𝐹𝑃+𝐹𝑁））

1. 通过设计舌苔颜色 分类的轻型卷积神经网络，分类准确率可达94.85%。
2. 分类标注存在的噪声问题，基于通道注意力机制的轻型卷积神经网络的中医舌色两阶段分类方法，加入知识蒸馏策略，使得分类准确率提升到了93.88%。
3. 糖尿病舌象颜色自动分类方法,运用向量量化变异自动编码器通过深度学习视觉转换器 （Vision Transformer）实现舌象特征分类，准确率达 87.8%。
4. 基于舌苔高光谱特征图像的CNN分类模型，提取融合了舌苔高光谱图像的空间和光谱特征，对舌苔分类的准确率达 87.21%

预处理：

   - 颜色空间转换：将RGB图像转换至HSV或Lab颜色空间。

不同边缘颜色值主成分因子载荷分布

问题：b*颜色转换准确性太差

   - 颜色直方图：统计舌部颜色分布情况。

颜色较准：光源条件校准、色卡校准、色彩空间校准等。但电子光源与自然光源间存在差异，且尚未有统一标准的舌象校准色卡，各方法的色彩精度不同，难以真正重现真实色彩，是目前亟需解决的问题（使用PH试纸或者标准比色卡放置于舌头旁边，以提供标准参考系）

3. **纹理特征**：

   - 灰度共生矩阵（GLCM）：提取纹理信息的统计特征。

   - 局部二值模式（LBP）：描述局部纹理结构。

4. **深度特征**：

   - 卷积神经网络（CNN）：利用卷积层提取抽象特征。

                                             ​​​​​​​        ​​​​​​​        ​​​​​​​二：苔质识别分类

一种基于Resnet50改进的算法流程

采用VGGNET，GradCAM（可以对任意结构的ＣＮＮ进行可视化），基于创新h－Ｎｅｔ模型的中医舌苔苔质分类及其舌苔特征可视化，基于高光谱图像的中医舌苔和舌质分类等

采用VGG时网络优化过程中应用了Dropout策略网络优化策避免过拟合问题但训练样本较少，采集数据困难，训练样本包含舌头外的无关区域等原因，产生的可视化效果并不够完美，仍具有相当大的改进空间

对应的可视化图：

改进的h-Unet架构：

包包括：图像正则化，参数设置（学习率，交叉验证折数）

采用h-Unet解决Unet没有全连接层问题（对应可视化图）

采用VGG时网络优化过程中应用了Dropout策略网络优化策避免过拟合问题但训练样本较少，采集数据困难，训练样本包含舌头外的无关区域等原因，产生的可视化效果并不够完美，仍具有相当大的改进空间

一篇论文提出的方法实现：

步骤1 .：数据获取并对数据进行编码、归一化处理形成待检测数据，并制作包含训 练集与验证集的数据集。1 .1使用PH试纸或者标准比色卡放置于舌头旁边，以提供标准参考系1 .2使用相机或者手机等拍摄设备拍摄舌头与PH试纸或标准比色卡的照片，保存， 将已确定的标准化舌苔类别图像人工分类分别放入对应的目录中。 1 .3数据编码，将1 .1中获取的数据类别标签进行one-hot编码，健康舌苔图像、不 健康舌苔图像分别对应01 ,10两位二进制数。步骤2：利用Keras搭建深度卷积神经网络。  2 .1使用基于tensorflow的Keras，调用其内置函数，搭建一个CNN2D的网络，激活 函数使用relu。2 .2在2 .1的基础上，向其添加一层最大池化层。2 .3反复2 .1-2 .2操作，添加若干组CNN2D与最大池化层。2 .4在2 .3的基础上，向其添加一层平坦层。2 .5在2 .4的基础上，向其添加一层全连接层，激活函数使用relu。2 .6反复2 .5，向其添加若干层全连接层。2 .7在2 .6基础上，向其添加输出层，2个神经节点，激活函数使用softmax，完成网 络搭建。步骤3：将步骤1所划分的训练数据输入步骤2搭建的神经网络，对神经网络进行训 练。3 .1将步骤1中的到的两类数据混合并对应好其label，输入步骤2得到的网络中， 其中数据总量的80％用于训练，10％用于验证，10％用于测试。3 .2训练若干个epoch后，验证准确率不再上升，即停止训练，用测试集测试其准确 度。3 .3反复调参，直到得到最优模型。 步骤4：深度学习模型训练完成后保存权重参数，并利用该权重对测试数据进行识别分类。4 .1保存权重与模型结构，对用户数据进行预测。

上述方法存在问题：

舌苔可从苔色与苔质两个角度进行分类，苔质又可分为更多种，由于种类较多，采集数据工作量漫长且复杂，数据规模小苔色变量未考虑

                                                        三：乳头分类识别

让患者口含具有苦味强调的标准样品，通过标注注释识别分类（基于深度学习的机器图像识别）如下时一种基于卷积神经网络的机器学习图像处理方法示例：（深度学习方法在乳头客观化方面缺乏突破）

操作：训练有素的操作员对舌头的特定部位进行视觉识别和手动计数（自动图像分析方法）；

有待研究

发展前景及进展：

（1） 标准化技术有待完善。舌诊智能化分析标准缺乏行业 标准；面向中医舌象智能诊断的关键技术标准尚属空白。

（2）开源的大样本舌诊分类数据集缺乏。国内已有多个团队基于规范化条件获取舌诊图像信息，但尚未形成行业通用性大样本标准化数据库；

（3） 智能化舌诊技术研究应用有待深入。基于舌诊客观数据与临床全域数据共同构成的中医诊断大数据的深入挖掘将有助于提升舌诊的科学内涵。目前，对中医诊断客观化的研究还停留在“色”检阶段，忽略了舌、面形态也具有诊断意义

数据标注困难，数据不足，多样性,解释性问题，缺乏数据集：如必须数据增强

方向

1. 多层次拓展、跨模态融合提升舌诊信息的深度与广度 现有的舌诊技术仅局限于两维可见光图像，需要 进一步研发红外、高光谱、结构光3维立体视觉等综合多维度信息集成的舌诊仪器，提高舌诊信息的广度。 在大数据时代下，以宏观的病证结合舌象智能诊断为 切入点，结合微观的多组学的生物信息网络，运用生 物信息学、大数据与人工智能方法，建立多维度舌诊 宏观表型和微观组学数据的跨模态映射关系，多层次 系统阐释的疾病预测与证候诊断的机制是未来的研究方向。

1. 通用人工智能方法提升舌象智能诊断的技术
2. 舌象分析，舌像动态分割，现有的舌像分割算法普遍针对单张图像进行分割，几乎很少对动态的舌像特征进行研究分析。精细泛化性能强的静态舌像分割算法，为舌体动态视频的分割提供了研究基 础。其中最关键的问题是如何在视频中如何快速准确地定位舌体的空间位置，这些都是今后需要解决的方向

                        梯度消失，爆炸问题

1. 1. **训练效率下降**：梯度消失导致较浅层的神经元权重无法得到有效更新（太快），使得网络的训练变得非常缓慢，甚至停滞不前。
2. 2. **模型性能受限**：由于梯度消失（爆炸）使得网络难以学习到有效的特征表示，可能导致模型在处理复杂任务时性能受限，无法达到预期的效果。
3. 3. **泛化能力下降**：梯度消失可能导致模型过度拟合训练数据，泛化能力下降，对新数据的适应性变差。（无法收敛）
4. 4. **深度网络难以训练**：梯度问题尤其影响深度神经网络的训练，使得设计和训练更深的网络结构变得更加困难。
5. 虽然有RELU单元，DenseNet增强信息流动，GCYTD动态调整等缓解，但依旧欠缺。

                            ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        四；其他

一：通过舌诊分析舌癌，肿瘤

 Overview of the development and evaluation of the tongue cancer diagnosis algorithm.

通过观察舌象形质，运用前面的一系列算法加以识别

二：津液分析

如四川博瑞客信息技术有限公司基于人工智能的津液分析苔质方法：

1. 基于人工智能的津液分析苔质方法，其特征在于，包括：S1、获取待分析的舌像图像；S2、采用U-Net深度学习网络检测舌像图中的舌体并进行定位和边缘分割获得舌体图像；S3、分析获取舌体图像的津液分布情况；具体包括：S31、分块处理舌体图像得到分块图像Q1,Q2,......,Qn；S32、归一化处理分块图像得到归一化像素qxi,j；S33、对归一化像素qxi,j进行直方图统计，并运用matplotlib绘制直方图后，利用hist直方图绘制函数绘制包络线得到图像Qx的包络线Yx；S34、对包络线Yx分别求取一阶与二阶导数与，则当Yx（x）满足以下条件时作为极大值点xi： ，其中，Yx（x）表示包络线Yx在点x的函数值；S35、统计各分块图像Q1,Q2,......,Qn的极大值点xi的个数；S4、根据津液分布情况评估舌体苔质；具体包括：S41、判断个数是否超过4，若是则进入S42；反之则进入S43；S42、判断个数是否超过7，若是则苔质为润苔，反之则苔质为水滑苔；S43、分析舌体图像不连续区域的形状特征，确定苔质为正常苔、燥苔还是糙苔；具体为：①、扫描舌体图像，寻找舌体图像的种子点并进行区域生长，提取舌体图像的不连续区域Pi；②、利用minEnclosingCircle寻找最小包围圆方法，对Pi进行轮廓查找，得到轮廓OLi；Oi是由n个点构成的一个凸包，在凸包的顶点上面找两个最远点，运用RotatingCalipers旋转卡尺方法求凸包半径；对于顶点和两个最远点的3个点Ax1,y1、Bx2,y2、Cx3,y3圆心有： ，则半径Ri为：；③、利用提取最大连通域方法统计连通域信息，输出连通域信息得到不规则区域的面积Si；④、计算轮廓OLi的面积与面积Si的面积比Zi，表示为：；⑤、判断面积比Zi是否小于5，若是则苔质为正常苔，反之则进入⑥；⑥、判断面积比Zi是否小于3，若是则苔质为燥苔；反之则苔质为糙苔。

综合目前现状，对于津液分析进行舌诊的方法方面深入不够，有待如舌脉，舌乳头等方面进一步突破