使用Python实现无需训练的显微图像分割技术-CSDN博客

本文链接：https://blog.csdn.net/gitblog_01108/article/details/148548724

使用Python实现无需训练的显微图像分割技术

python_for_microscopists 项目地址: https://gitcode.com/gh_mirrors/py/python_for_microscopists

概述

在显微图像分析领域，图像分割是一项基础而关键的任务。传统方法通常需要大量标注数据和复杂的训练过程。本文将介绍一种基于Segment Anything Model (SAM)的无需训练的图像分割方法，该方法可以直接应用于显微图像分析，无需繁琐的训练步骤。

环境准备

硬件要求

建议使用配备NVIDIA GPU的计算机以获得最佳性能。虽然CPU也能运行，但处理速度会显著降低。

软件依赖

需要安装以下Python库：

PyTorch (建议使用支持CUDA的版本)
Torchvision
OpenCV
Matplotlib
Segment Anything库

安装命令示例：

pip install torch torchvision opencv-python matplotlib

核心组件介绍

Segment Anything Model (SAM)

SAM是由Meta AI研究团队开发的一种通用图像分割模型，具有以下特点：

零样本学习能力：无需针对特定任务进行训练
强大的泛化能力：可处理各种类型的图像
灵活的交互方式：支持点、框等多种提示方式

模型检查点

需要下载预训练模型权重文件，本文使用的是默认的sam_vit_h_4b8939.pth模型。

实现步骤详解

1. 初始化环境

首先验证PyTorch环境和CUDA是否可用：

import torch
import torchvision

print("PyTorch版本:", torch.__version__)
print("Torchvision版本:", torchvision.__version__)
print("CUDA是否可用:", torch.cuda.is_available())

2. 加载并显示图像

使用OpenCV读取图像并转换为RGB格式：

import cv2
import matplotlib.pyplot as plt

image = cv2.imread('houses.jpg')  # 可替换为显微图像
image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)

plt.figure(figsize=(10,10))
plt.imshow(image)
plt.axis('off')
plt.show()

3. 加载SAM模型

from segment_anything import sam_model_registry

sam_checkpoint = "sam_vit_h_4b8939.pth"
model_type = "vit_h"
device = "cuda"  # 或"cpu"

sam = sam_model_registry[model_type](checkpoint=sam_checkpoint)
sam.to(device=device)

4. 配置自动掩码生成器

自动掩码生成器有多个可调参数，影响分割结果的密度和质量：

from segment_anything import SamAutomaticMaskGenerator

mask_generator = SamAutomaticMaskGenerator(
    model=sam,
    points_per_side=32,  # 每边采样的点数
    pred_iou_thresh=0.9,  # 预测IoU阈值
    stability_score_thresh=0.96,  # 稳定性分数阈值
    crop_n_layers=1,  # 裁剪层数
    crop_n_points_downscale_factor=2,  # 裁剪点下采样因子
    min_mask_region_area=100,  # 最小掩码区域面积
)

5. 生成并显示分割结果

masks = mask_generator.generate(image)

def show_anns(anns):
    if len(anns) == 0:
        return
    sorted_anns = sorted(anns, key=(lambda x: x['area']), reverse=True)
    ax = plt.gca()
    ax.set_autoscale_on(False)
    for ann in sorted_anns:
        m = ann['segmentation']
        img = np.ones((m.shape[0], m.shape[1], 3))
        color_mask = np.random.random((1, 3)).tolist()[0]
        for i in range(3):
            img[:,:,i] = color_mask[i]
        ax.imshow(np.dstack((img, m*0.35)))

plt.figure(figsize=(10,10))
plt.imshow(image)
show_anns(masks)
plt.axis('off')
plt.show()