opencv和PIL读取图片的一个细节

在做深度学习目标检测和语义分割的训练时，会有读取图片这个模块流程，在读取图片时，有些人习惯使用opencv，有些人习惯使用PIL。在做语义分割时，需要读取图片和标签mask，而标签mask也是一幅图片，而在读取了标签mask后，会把它转成灰度图，图片中的像素值表示类别索引。然而用opencv和PIL读取图片时，是有差别的。看如下代码示例：

import numpy as np
from PIL import Image
import cv2

if __name__ == "__main__":
    cvimg = cv2.imread('mask.png')
    pilimg = Image.open('mask.png')
    pilimg = np.array(pilimg)
    print(cvimg.shape)
    print(pilimg.shape)

运行结果是：

(498, 652, 3)
(498, 652)

可以看到，用opencv读取图片后，图片是3通道的，这时候需要执行 cvimg = cv2.cvtColor(cvimg, cv2.COLOR_BGR2GRAY)才能转换成单通道灰度图。而用PIL读取图片就已经是单通道灰度图了。

有网页反馈说使用

cv2.imread(imgpath, cv2.IMREAD_GRAYSCALE)

就能转成灰度图，但是最近我做实验发现，这种方式得到的灰度图跟直接使用pillow库读取得到的灰度图还是有差别的。以语义分割pascal voc数据集为例，众所周知，pascal voc语义分割数据集有20类，再加上背景类。在标注文件.png图片的像素值有[0,1,2,3, ...., 20]的取值分布，此外还有255.接下来做一个实验，代码如下：

from PIL import Image
import cv2
import numpy as np

if __name__=='__main__':
    imgpath = '2010_004361.png'
    label = cv2.imread(imgpath, cv2.IMREAD_GRAYSCALE)
    label2 = cv2.imread(imgpath)
    label3 = np.array(Image.open(imgpath))
    print(np.unique(label))
    print(np.unique(label2))
    print(np.unique(label3))
    print(label.shape)
    print(label2.shape)
    print(label3.shape)

运行这个程序之后，结果如下：

可以看到第一种方法 cv2.imread(imgpath, cv2.IMREAD_GRAYSCALE)

得到的像素矩阵虽然是单通道的，但是它的像素值有的不在[0,20]区间之内。

第三种方法 np.array(Image.open(imgpath))

得到的像素矩阵是单通道的，并且它的像素值在[0,20]区间之内。

这个在语义分割训练的时候要特别小心的，因为语义分割是像素级分类，标注文件里的每个像素点表示类别的序列号，而序列号的取值要在0到num_class之内的，num_class表示类别数量。