学习记录——语义分割、实时分割和全景分割的区别、几个Norm的区别、Dice 、BCE

语义分割、实时分割和全景分割区别？

semantic segmentation（语义分割）

通常意义上的目标分割指的就是语义分割，图像语义分割，简而言之就是对一张图片上的所有像素点进行分类。
  语义分割（下图左）就是需要区分到图中每一点像素点，而不仅仅是矩形框框住了。但是同一物体的不同实例不需要单独分割出来。对下图左，标注为人，羊，狗，草地。而不需要羊1，羊2，羊3，羊4，羊5等。
  

Instance segmentation（实例分割）

  实例分割（上图右）其实就是目标检测和语义分割的结合。相对目标检测的边界框，实例分割可精确到物体的边缘；相对语义分割，实例分割需要标注出图上同一物体的不同个体（羊1，羊2，羊3…）

Panoramic segmentation（全景分割）

  全景分割是语义分割和实例分割的结合。跟实例分割不同的是：实例分割只对图像中的object进行检测，并对检测到的object进行分割，而全景分割是对图中的所有物体包括背景都要进行检测和分割。

总结

  语义分割（Semantic Segmentation）：语义分割是将图像分割成多个语义区域的任务，即将图像中的每个像素分配给特定的语义类别。每个像素都被标记为属于不同的类别，例如人、汽车、树等。语义分割关注的是像素级别的分类，目标是理解图像中不同物体的位置和边界。
  实时分割（Real-Time Segmentation）：实时分割是指能够在实时或接近实时的速度下进行图像分割的任务。实时分割通常要求在处理连续的视频帧时保持高帧率，以实现实时的交互或应用。在实时分割中，主要关注的是算法的速度和效率，以便能够在实时系统中应用，如自动驾驶、视频监控等。
  全景分割（Panoptic Segmentation）：全景分割是语义分割和实例分割的结合，旨在同时提供像素级别的类别标签和实例级别的分割结果。全景分割将图像分割成若干语义区域，并为每个区域分配一个唯一的实例标识符。这意味着全景分割不仅要区分不同的物体类别，还要区分同一类别中的不同实例。全景分割任务的目标是获得更全面的场景理解，同时提供类别和实例级别的分割结果。
  总结来说，语义分割注重像素级别的分类，实时分割强调高速实时处理，而全景分割则旨在提供更全面的场景理解，包括类别和实例级别的分割结果。

关于几个Norm

Dice 、BCE

Dice loss和BCE loss组合可以用于二分类问题中，其中Dice loss用于衡量预测结果的相似度，BCE loss用于衡量预测结果的准确性。

组合使用这两种损失函数可以提高模型的性能，因为Dice loss可以帮助模型更好地处理类别不平衡问题，而BCE loss可以帮助模型更好地处理类别分布不均匀的情况。

具体地，可以将Dice loss和BCE loss加权求和，得到最终的损失函数。其中，Dice loss的权重可以根据数据集的类别分布情况进行调整，以达到更好的效果。