【计算机视觉】Pixel逐像素分类&Mask掩码分类理解摘要

目标检测和实例分割是计算机视觉的基本任务。目标检测的传统方法中通常利用边界框技术进行对象定位，然后利用逐像素分类为这些本地化实例分配类。但是当处理同一类的重叠对象时，或者在每个图像的对象数量不同的情况下，这些方法通常会出现问题。

Faster R-CNN、Mask R-CNN等经典方法虽然有效，但由于其固定大小的输出空间，它们通常预测每个图像的边界框和类的固定数量，这可能与图像中实例的实际数量不匹配，特别是当不同图像的实例数量不同时。并且它们可能无法充分处理相同类的对象重叠的情况，从而导致分类不一致。

 

目录

逐像素分类

掩码分类

二者区别

---

逐像素分类

Pixel-wise Classification逐像素分类是一种计算机视觉任务，旨在对图像中的每个像素进行分类。该任务要求将图像划分为不同的类别，并为每个像素分配一个标签，以便对图像进行语义分割、实例分割或对象检测等。

• 数据准备：准备一个带有像素级标签的训练数据集。
• 模型选择：选择适合逐像素分类的深度学习模型。
• 模型训练：使用训练数据集对选定的模型进行训练。通常使用交叉熵损失函数。
• 模型推理：在训练完成后，使用训练好的模型对新的图像进行推理和分类。
• 后处理：优化结果，例如像素连接、条件随机场等平滑边界，提高分割准确性和连续性。

掩码分类

Mask Classification掩码分类是一种计算机视觉任务，结合目标检测和逐像素分类的概念。旨在对图像中的每个目标实例进行分类，生成与实例对应的二进制掩码Mask，标识目标的精确位置。

• 数据准备：准备一个带有目标实例的训练数据集。
• 目标检测和分类：使用目标检测算法（如YOLO）检测目标实例并获取边界框坐标。
• 掩码生成网络：在每个目标实例的边界框上，使用全卷积网络或类似的架构，将边界框内的图像区域作为输入，生成与目标实例精确匹配的像素级掩码。
• 掩码分类训练：将生成的像素级掩码与目标标签一起作为训练样本，使用交叉熵损失函数来训练掩码分类器，用于将像素级掩码与对应的目标类别进行分类。
• 掩码分类推理：对于新的图像，使用目标检测算法检测目标实例，并使用训练好的掩码分类器对每个目标实例的边界框区域生成像素级掩码，获得每个目标实例的分类标签和精确掩码。

二者区别

Pixel-wise Classification逐像素分类和Mask Classification掩码分类的区别主要体现在：

• 目的
  • 逐像素分类的目的是对每个像素进行分类，将每个像素分配到不同的类别。
  • 掩码分类的目的是对每个目标实例生成像素级的二进制掩码，标识目标的精确位置。
• 结构：
  • 逐像素分类通常使用FCN全卷积网络或类似的架构，以保留输入图像的空间分辨率。
  • 掩码分类通常使用目标检测算法检测目标实例，后使用FCN或类似的架构生成掩码。
• 输出
  • 逐像素分类输出一个与输入图像大小相同的像素级分类标签图。
  • 掩码分类输出与目标实例形状匹配的二进制掩码，目标区域被标记为前景。
• 应用
  • 逐像素分类通常用于语义分割任务。
  • 掩码分类常用于实例分割任务。