图像的处理

来源：https://www.worthpen.top/blog?id=656617476aa58e39d930192f

1 打开nii文件

https://blog.csdn.net/alxe_made/article/details/80512423
最好使用matlab进行浏览(需要使用Tools for NIfTI and ANALYZE image扩展包)，使用matlab浏览的代码如下：
close all;clear;
clc;
nii = load_nii( ‘case0001_img.nii’ ); % 装载.nii数据
img = nii.img; % 因为这个文件有img和head二个部分，其中img部分是图像数据
save image.mat img % 将数据变成mat格式
load ‘image.mat’ % 加载数据
[n1, n2, n3] = size(img); % 获取.nii文件的三个维度，一般1、2维是图像维度，第三维是切片
% imshow(img(:,:,100),[]); 这个是正常显示第100个切片的图像
for i = 1:n3 % 开始切片数据轮寻
figure(i) % 开始显示图片
ti = imshow(img(:,:,i),[]); % 显示每一张切片图像
pause(0.1); % 防止显示过快看不见，简单延时
end

2 保存tensor为image

使用PIL库内的image.save(path)方法，path路径中的文件夹要存在。
torchvision库中的transforms.ToPILImage()可以将tensor转化为image，如果tensor为1通道，会自动识别为灰度图，直接保存即可。
如果想要画出image灰度图，则需要matplotlib.pyplot中的imshow()函数，并且需要设置参数cmap为gray字符串。

3 图像处理的尺寸问题

3.1 统一尺寸

一部分计算机视觉算法可以适应所有的图片尺寸，如全卷积神经网络等。但是如果想要使用大于1的batchsize去训练，也需要batch内的图像具有相同的尺寸，因此，推荐所有的网络均使用图像处理统一到同一尺寸。
剪裁到同一尺寸可能无法适用于所有图片，因为有些剪裁会破坏图片的信息。剪裁通常用于数据增强，或者分类前先将分类目标检测并剪裁出来。通常情况下，使用采样或者插值实现对图片的尺寸统一。PIL中的image.resize可以实现该功能。numpy.resize无法用于采样，其原理为取前几个元素，而不是间隔取。

3.2 统一尺寸的不同流程

统一尺寸有两种方式, 一种是将原图片和标签统一到统一尺寸; 一种是将图片统一到某一尺寸, 训练后还原至原尺寸, 然后和标签进行比较. 经过验证, 前者的准确度较高.

3.3 语义分割过程中的尺寸变换

在读数据时, 需要把原图和标签变换到同一尺寸, 在这一过程中, 针对原图可以使用双线性插值, 对于标签只能使用最近邻插值, 因为其他方法会改变标签周围的值.
在生成预测图的时候, 同样也只能使用最近邻插值, 因为使用其他方法, 会在正确标签周围生成不正确的分类结果.

4 Tensor表示的图像的颜色与数字对应关系

传统的颜色使用0-255数字进行存储, Tensor使用0-1这一范围表示不同颜色. 当三个通道颜色值相同时, 即为灰度图, 0时为黑色, 1时为白色.

5 多路径融合方式

为了获得某个通道数, 先卷积再cat与先cat再卷积具有更高的精度.

6 图像处理任务分类

6.1 分类

6.2 检测

将目标框住，并给出目标类别，没有精细到像素的分类

6.3 分割

像素级标注目标类别

6.4 检测和分割的关系

分割任务完成后，自然可以完成检测任务，但是，依然存在大量关于检测任务的研究。这是由数据集标签驱动的，检测的标签更容易获得，而分割的标签更难获取，因此，当存在大量检测到标签，并且检测任务可以满足现实需求，肯定会大量的研究在检测领域。

python deeplab2/trainer/train.py --config_file=deeplab2/configs/semkitti_dvps/vip_deeplab/resnet50_beta_os32.textproto --mode=eval --model_dir=the_loggers/ --num_gpus=1

7 ImageNet数据集

ImageNet数据集是一个超大数据集, 平时说的ImageNet指的是用于ImageNet Large Scale Visual Recognition Challenge (ILSVRC)挑战赛的ImageNet数据集的一个子集. 以下数据集均指的是该子集.
ImageNet数据集具有若干个文件和一个压缩包, 文件有比赛提交范例, 训练集和测试集的标签和标签序号-标签内容映射. 压缩包内包含具体数据, 其中ImageSets没啥用. 其他两个是数据和标签.
数据中分为训练集, 验证集和测试集. 训练集的命名包含类别标签, 验证机和测试集的命名不包含类别标签. 标签文件夹中只有训练集和测试集, 标签文件夹中的标签数量比训练集数量小, 因为只有某些图片具有完整的带检测框的标签. 标签文件夹中的标签和压缩包外的标签文件相同.