Python视网膜光学相干断层扫描病理学分类

视网膜光学相干断层扫描 (OCT) 是一种成像技术，用于捕获活体患者视网膜的高分辨率横截面。 每年大约进行 3000 万次 OCT 扫描，这些图像的分析和解释占用了大量时间。使用监督和半监督技术可以提高病理学图像分类研究的有效性。

基于图像的深度学习识别医学诊断和可治疗疾病

人工智能 (AI) 有可能通过执行人类专家难以进行的分类和快速查看大量图像来彻底改变疾病诊断和管理。 尽管具有潜力，但 AI 的临床可解释性和可行准备仍然具有挑战性。

传统的分类图像分析算法方法以前依赖于 (1) 手工对象分割，然后是 (2) 使用专门为每一类对象设计的统计分类器或浅神经计算机学习分类器识别每个分割对象，最后 (3) 图像分类。 创建和改进多个分类器需要许多技术人员和大量时间，而且计算成本很高。

卷积神经网络层的发展使得图像分类和检测图片中对象的能力显着提高。 这些是应用图像分析过滤器或卷积的多个处理层。 每一层中图像的抽象表示是通过系统地对图像上的多个过滤器进行卷积来构建的，生成一个特征图，用作下一层的输入。 这种架构可以处理以像素形式作为输入的图像，并提供所需的分类作为输出。 一个分类器中的图像到分类方法取代了以前图像分析方法的多个步骤。

解决给定域中缺乏数据的一种方法是利用来自类似域的数据，这种技术称为迁移学习。 迁移学习已被证明是一种非常有效的技术，尤其是在面对数据有限的领域时。 与其训练一个完全空白的网络，不如使用前馈方法来固定已经优化的较低层的权重，以识别一般图像中的结构，并用反向传播重新训练上层的权重，模型可以识别特定类别图像的显着特征，例如眼睛图像，速度更快，训练示例和计算能力显着减少。

代码片段：

class Pretrained_SimCLR_Model(tf.keras.Model):

    def __init__(self,
                 num_classes=4,
                 use_blur=True,
                 # ProjectionLayer Parameters
                 proj_head_mode='nonlinear',
                 proj_out_dim=128,
                 num_proj_layers=3,
                 ft_proj_selector=0,
                 # Resnet_parameter
                 resnet_depth=18,
                 resnet_width_multiplier=1,
                 resnet_se_ratio=0.0,
                 resnet_sk_ratio=0.0,
                 # contrastive loss parameter
                 hidden_norm=True,
                 temperature=1.0,
                 **kwargs):

        super(Pretrained_SimCLR_Model, self).__init__(**kwargs)

        self.use_blur = use_blur
        self.hidden_norm = hidden_norm
        self.temperature = temperature

        # Defining the Base Resnet Model
        self.base_model = resnet(resnet_depth,
                                 resnet_width_multiplier,
                                 sk_ratio=resnet_se_ratio,
                                 se_ratio=resnet_se_ratio)

        # Defining the Heads
        self.supervised_head = SupervisedHead(num_classes=num_classes)
        self.projection_head = ProjectionHead(proj_head_mode=proj_head_mode,
                                              proj_out_dim=proj_out_dim,
                                              num_proj_layers=num_proj_layers)

        # Initialize metrics.
        all_metrics = []  # For summaries.
        self.contrast_loss_metric = tf.keras.metrics.Mean('contrast_loss')
        self.contrast_acc_metric = tf.keras.metrics.Mean('contrast_acc')
        self.contrast_entropy_metric = tf.keras.metrics.Mean('contrast_entropy')

        self.supervised_loss_metric = tf.keras.metrics.Mean('supervised_loss')
        self.supervised_acc_metric = tf.keras.metrics.Mean('supervised_acc')

        all_metrics.extend([
            self.contrast_loss_metric, self.contrast_acc_metric, self.contrast_entropy_metric,
            self.supervised_loss_metric, self.supervised_acc_metric
        ])

        self.all_metrics = all_metrics

    def call(self, inputs, training=True):

        features = inputs
        if training:
            num_transforms = 2
        else:
            num_transforms = 1

        _, image_size, _, _ = features.shape

        # Split channels, and optionally apply extra batched augmentation.
        features_list = tf.split(
            features, num_or_size_splits=num_transforms, axis=-1)

        if self.use_blur and training:
            features_list = batch_random_blur(features_list,
                                              image_size,
                                              image_size)

        features = tf.concat(features_list, 0)  # (num_transforms * bsz, h, w, c)

        # run it through the base_model
        for layer in self.base_model.initial_conv_relu_max_pool:
            features = layer(features, training=training)

        for layer in self.base_model.block_groups:
            features = layer(features, training=training)

        # final average pool layer in Resnet
        features = tf.reduce_mean(features, [1, 2])

        # # Add heads
        projection_head_outputs, supervised_head_inputs = self.projection_head(features, training=training)
        supervised_head_outputs = self.supervised_head(tf.stop_gradient(supervised_head_inputs), training=training)

        return projection_head_outputs, supervised_head_outputs

使用胶囊网络对光学相干断层扫描图像进行分类

视网膜图谱

数据集

源代码

详情参阅 - 亚图跨际