WCE视频的相关文献学习十三（LSTM）（49-52）

第四十九篇：2021基于图卷积神经对长内窥镜视频中的异常进行弱监督定位

Graph Convolution Neural Network For Weakly Supervised Abnormality Localization In Long Capsule Endoscopy Videos

作者：Sodiq Adewole

目的：对WCE长视频中的异常帧进行识别以及时间定位

方法：使用GCNN图卷积神经网络。①先用VGG19来提取视频特征；②接着使用变化点检测技术将视频时间自动分割成均匀可识别的片段；③然后使用GraphSage为GCNN的基础模型对每个片段进行识别是否有异常，有异常的则进行异常的时间轴定位；④最后输出识别结果及定位结果。其中用到了LSTM进行每个层的相邻节点的聚合。

数据：有九个视频，每个视频被分割成许多段。前五个训练，后四个测试

特别地：该文献新奇点在于它的异常定位是时间轴，生成高能帧。

不足：实验数据不足

结果：分类89.9%，定位97.5%

注：学习指数8.5

第五十篇：2022用于腔内图像分类的序列模型

Sequential models for endoluminal image classification

作者：Joana Reuss

目的：使用序列模型处理消化道图像分类问题。主要是在序列信息的利用下，消化道的息肉分类出来。

方法：在原有的自监督网络SSL上增加CNN(ResNet50)、TIME和BiLSTM。使用resnet50提取图像特征，压平块删除了时间轴。使用TIME模块恢复BiLSTM的时间轴。BiLSTM将过去的信息、当前的输入和输出相整合在一起，得到序列的相关信息。使用BiLSTM相比其他非序列结构效果更优。

特别地：使用了LSTM的改进版BiLSTM，使实验效果更加显著了。

不足：该研究只处理了息肉，在其他异常的处理上未知。它使用的也不是一整个视频，而是剪裁下的多个片段，以９张图片为一个序列，一段video在CNN处为八个序列，在BiLSTM阶段有16个序列。

结果：AUC为93.83％。

注：学习指数8。IF1.10

第五十一篇：2021残差LSTM层的CNN用于胃肠道疾病分类

Residual LSTM layered CNN for classification of gastrointestinal tract diseases

作者：Saban Oztürk

目的：研究使用残差LSTM层做CNN的分类器在胃肠道中的息肉分类的效果

方法：使用迁移学习的方法。一个预训练的CNN分别加上ANN（全连接层FCL）、SVM、LSTM最后softmax输出结果。其中CNN分别为AlexNet、GoogLeNet、ResNet。一共九个组合进行实验。ANN和SVM是取 CNN最后一层输出为输入，而LSTM是取CNN的第一层、中间层和最后一层到三个LSTM块中。每个LSTM块中有两个LSTM（详细原因看原文）。

特别地：这是第一次看到使用LSTM作为分类器使用。LSTM用过去的信息来预测未来。这个息肉分类有八个类别，有根据场景的也有程度的。

不足：仅使用一个数据库Kvasir

结果：最后ResNET加LSTM效果最好，结果达到了98.05%的准确率。

注：学习指数8。Q2。IF4.5

第五十二篇：2020基于深度模型的半监督WCE图像异常检测

Deep model-based semi-supervised learning way for outlier detection in wireless capsule endoscopy images

作者：YAN GAO

目的：更少误差的将WCE图像的异常图像检测出来

方法：使用CNN+LSTM的方法。用CNN提取特征，用LSTM提取序列信息。其还使用原始图像与伪异常图像的不同、异常图像和正常图像的不同作为参数影响模型OAM部分。OAM由一个异常检测器和两个功能单元组成。从而实现更小的误差识别异常图像。实验还与多种方法做比较。（提出了一种新的模型SODM来解决WCE图像中的异常点检测问题。SODM旨在从WCE图像块中学习适当的特征来构建状态预测器，利用真实状态与期望状态的差值来筛选出异常值。此外，SODM还包含一个异常值评估模型，使异常值报警具有更少的误报。实际WCE图像的实验证实了这一点）

 数据：正常来自北京某医院20个不同的男性病例，异常图像来自某文献的公开数据

不足：数据集不够具有普遍性

特别地：巧妙的运用的正常与异常的差值来检测图像。

结果：在其他性能结果差不多的情况下，准确率93.27%和灵敏度86.17%都较高。

注：学习指数8。Q2