上一篇，我们介绍了下载好的Mars数据集。接下来我们将要在程序中使用这个数据集进行训练，测试。
目的：将硬盘上的Mars数据集，封装进dataset中。
代码来自：https://github.com/KaiyangZhou/deep-person-reid/blob/master/torchreid/datasets/mars.py 侵删。。
首先本文是基于pytorch0.3.1，Torchvision 0.2.0，python3.6。刚开始要调用的库如下：`
import os # 通过os模块调用系统命令，获得路径，获取操作系统的类型
import os.path as osp
from scipy.io import loadmat # 因为要使用matlab格式的表格
import numpy as np
from utils import mkdir_if_missing
# 从utils文件中调用mkdir_if_missing 函数，判断这个路径中文件是否存在
一.定义一个 类
class Mars（object）：
'''
Mars数据集的一些基本信息说明：
行人id数 = 625（train）+ 626（test） = 1261
小段视频数（tracklets） = 8 298 (train) + 1980 (query) + 9330 (gallery) = 19608
摄像头的数目 = 6
'''
# root = 数据集的绝对路径
root = '/media/ying/0BDD17830BDD1783/ReIdDataset/Mars'
# 下面是info文件夹中的各个文件路径，root + info/...
train_name_path = osp.join(root, 'info/train_name.txt')
test_name_path = osp.join(root, 'info/test_name.txt')
track_train_info_path = osp.join(root, 'info/tracks_train_info.mat')
track_test_info_path = osp.join(root, 'info/tracks_test_info.mat')
query_IDX_path = osp.join(root, 'info/query_IDX.mat')
接下来定义类中的三个方法，用于处理数据。
二.定义第一个方法 _check_before_run
目的：在运行前，检查所有文件是否存在。
def _check_before_run(self):
"""Check if all files are available before going deeper"""
if not osp.exists(self.root):
raise RuntimeError("'{}' is not available".format(self.root))
if not osp.exists(self.train_name_path):
raise RuntimeError("'{}' is not available".format(self.train_name_path))
if not osp.exists(self.test_name_path):
raise RuntimeError("'{}' is not available".format(self.test_name_path))
if not osp.exists(self.track_train_info_path):
raise RuntimeError("'{}' is not available".format(self.track_train_info_path))
if not osp.exists(self.track_test_info_path):
raise RuntimeError("'{}' is not available".format(self.track_test_info_path))
if not osp.exists(self.query_IDX_path):
raise RuntimeError("'{}' is not available".format(self.query_IDX_path))
三.第二个方法 _get_names
目的：获取txt文件中的字符串（图片名字），放在names列表中。
def _get_names(self, fpath):
names = []
# 1.以只读的方式打开路径中的文件，作为f
with open(fpath, 'r') as f:
# 2.遍历文件中的每一行
for line in f:
# 3.根据文件中每一行内容的特点，进行提取内容。这次我们要提取的是字符串，其后面是我们不需要的空格，因此我们用rstrip()删除字符串末尾的指定字符（空格）。
new_line = line.rstrip()
# 4.将这一行的字符串（图片名称0065C1T0002F0016.jpg）,添加到names列表中
names.append(new_line)
return names
结果:
names=[‘0065C1T0002F0016.jpg’，‘…’’，‘1500C5T0003F018.jpg’]
四.第三个方法 _process_data
def _process_data(self, names, meta_data, home_dir=None, relabel=False, min_seq_len=0):
'''
参数：
names：一个包含图像名字的列表，names=[‘0065C1T0002F0016.jpg’，‘…’’，‘1500C5T0003F018.jpg’]
meta_data：是从.mat文件读出来的数据，一个数组。
home_dir: 文件夹名称，有两个选项，'bbox_train', 'bbox_test'
relabel：bool类型，是否重新对行人id重新标记，因为行人id不是连续的。
min_seq_len ：最短的序列长度，即一个小段视频中的图片数
'''
# 1.文件夹只能是'bbox_train', 'bbox_test'中的一个
assert home_dir in ['bbox_train', 'bbox_test']
# 2.小段视频的数目 = .mat文件中数组的行数
num_tracklets = meta_data.shape[0]
# 3.在数组中，行人id放在数组的第2列（列数从0开始）。首先读取这一列的数组元素，并将其放进列表中。由于同一个行人id有多段对应的tracklet，使用set（）集合函数，创建一个无序不重复的元素集。
pid_list = list(set(meta_data[:, 2].tolist()))
# 4.行人的id总数 = 上述列表的长度
num_pids = len(pid_list)
# 5.判断是否需要重新标记行人id
# 由于行人id不是连续的1，3, 5...按照索引顺序，将对应的行人id转换为0,1,2,3....
if relabel:
pid2label = {pid:label for label, pid in enumerate(pid_list)}
# 6.初始化列表，存放的是小段视频
tracklets = []
# 7.初始化列表，存放的是每个小段视频所包含的图片数。
num_imgs_per_tracklet = []
# 8.遍历.mat文件中的数组的每一行，每一行就是一个小段视频
for tracklet_idx in range(num_tracklets):
# a.根据行号 tracklet_idx，获得这一行的数组元素
data = meta_data[tracklet_idx, ...]
# b.根据.mat文件可知，这一行的数据包括图片的开始索引，结束索引，行人id，摄像头id。508980,509172,1495,5
start_index, end_index, pid, camid = data
# c.如果行人的id = -1，说明这些是无用的图片，直接忽略他们
if pid == -1:
continue # junk images are just ignored
# d.确定摄像头id是在1 ~ 6之间
assert 1 <= camid <= 6
# e.如果进行relabel，从pid2labe[]列表中获得对应pid的重新标记后的行人id
if relabel:
pid = pid2label[pid]
# f.摄像头id - 1，这样它的索引在0 ~ 5范围内
camid -= 1
# g.index starts from 0，根据start_index-1:end_index索引，获得在names列表中对应的图片名字。img_names = [‘xxxx.jpg’，‘…’，‘xxxx.jpg’]
img_names = names[start_index-1:end_index]
# h.确保一个小段视频中的图片都对应于同一个行人id,‘1500C5T0003F018.jpg’行人id在图片名称的前4个字符。1500
pnames = [img_name[:4] for img_name in img_names]
assert len(set(pnames)) == 1, "Error: a single tracklet contains different person images"
# i.同时确保这些图片来自同一个摄像头，‘1500C5T0003F018.jpg’摄像头id在图片名称的第5个字符（从0开始索引）。5
camnames = [img_name[5] for img_name in img_names]
assert len(set(camnames)) == 1, "Error: images are captured under different cameras!"
# j.append image names with directory information，获得img_names列表中的图片名字的完整绝对路径，
['/media/ying/0BDD17830BDD1783/ReIdDataset/Mars/bbox_train/1500/1500C5T0003F001.jpg',
'...',
'/media/ying/0BDD17830BDD1783/ReIdDataset/Mars/bbox_train/1500/1500C5T0003F018.jpg',
]
img_paths = [osp.join(self.root, home_dir, img_name[:4], img_name) for img_name in img_names]
# k.如果小段视频中的图片数 > min_seq_len
if len(img_paths) >= min_seq_len:
# l.将图片的绝对路径放在元组中，
（'/media/ying/0BDD17830BDD1783/ReIdDataset/Mars/bbox_train/1500/1500C5T0003F001.jpg',
'...',
'/media/ying/0BDD17830BDD1783/ReIdDataset/Mars/bbox_train/1500/1500C5T0003F018.jpg',
）
img_paths = tuple(img_paths)
# m.将获得的这一个小段视频中的所有信息（图片绝对路径，行人id，摄像头id）放进tracklet列表中。tracklets =
【（（'xxxx.jpg'）,0 , 0）;
...
（（'xxxx.jpg'）,598, 1）;
】
tracklets.append((img_paths, pid, camid))
# n. 将这一个小段视频中的图片数目，放在num_imgs_per_tracklet列表中。
num_imgs_per_tracklet = 【16,79,15,12。。。】
num_imgs_per_tracklet.append(len(img_paths))
# 9.获得小段视频的数目，train：8298；test：9330；query：1980.
num_tracklets = len(tracklets)
return tracklets, num_tracklets, num_pids, num_imgs_per_tracklet
五. 初始化类
使用上述的方法初始化类Mars。
def __init__(self, min_seq_len=0):
# 1.调用_check_before_run()方法，检查对应的文件是否存在
self._check_before_run()
# 2.prepare meta data，获得所有的训练集图片名字，放在train_names列表中；获取所有测试集图片名字，放在test_names 列表中。
train_names = self._get_names(self.train_name_path)
test_names = self._get_names(self.test_name_path)
# 3.使用loadmat（）函数读取.mat文件，它读取出来的data是字典格式的，通过['track_train_info']这个key，找到对应的value。获得的是一个数组格式数据。
track_train = loadmat(self.track_train_info_path)['track_train_info'] # numpy.ndarray (8298, 4)
track_test = loadmat(self.track_test_info_path)['track_test_info'] # numpy.ndarray (12180, 4)
query_IDX = loadmat(self.query_IDX_path)['query_IDX'].squeeze() # numpy.ndarray (1980,)
# 4.查询集的行号减一，跟track_test中的行号索引保持一致。
query_IDX -= 1 # index from 0
# 5.根据 query_IDX行号索引，找到track_test中对应行的数据 numpy.ndarray (1980, 4)
track_query = track_test[query_IDX, :]
# 6.图库集的行号 = 原始的track_test行号 - query_IDX中包含的行号
gallery_IDX = [i for i in range(track_test.shape[0]) if i not in query_IDX]
# 7.根据图库集行号，在track_test中找到对应行的数据，numpy.ndarray (1980, 4)
track_gallery = track_test[gallery_IDX, :]
# 8.调用_process_data（）方法，对从上面获得的数据进行处理。获得
'''train =
【（（'xxxx.jpg'）,0 , 0）;
...
（（'xxxx.jpg'）,598, 1）;
】
num_train_tracklets = 8298；
num_train_pids = 625
num_train_imgs = [16,79,15,12...,20,50] 这个列表长度为8298
'''
train, num_train_tracklets, num_train_pids, num_train_imgs = \
self._process_data(train_names, track_train, home_dir='bbox_train', relabel=True, min_seq_len=min_seq_len)
query, num_query_tracklets, num_query_pids, num_query_imgs = \
self._process_data(test_names, track_query, home_dir='bbox_test', relabel=False, min_seq_len=min_seq_len)
gallery, num_gallery_tracklets, num_gallery_pids, num_gallery_imgs = \
self._process_data(test_names, track_gallery, home_dir='bbox_test', relabel=False, min_seq_len=min_seq_len)
num_imgs_per_tracklet = num_train_imgs + num_query_imgs + num_gallery_imgs
min_num = np.min(num_imgs_per_tracklet)
max_num = np.max(num_imgs_per_tracklet)
avg_num = np.mean(num_imgs_per_tracklet)
num_total_pids = num_train_pids + num_query_pids
num_total_tracklets = num_train_tracklets + num_query_tracklets + num_gallery_tracklets
print("=> MARS loaded")
print("Dataset statistics:")
print(" ------------------------------")
print(" subset | # ids | # tracklets")
print(" ------------------------------")
print(" train | {:5d} | {:8d}".format(num_train_pids, num_train_tracklets))
print(" query | {:5d} | {:8d}".format(num_query_pids, num_query_tracklets))
print(" gallery | {:5d} | {:8d}".format(num_gallery_pids, num_gallery_tracklets))
print(" ------------------------------")
print(" total | {:5d} | {:8d}".format(num_total_pids, num_total_tracklets))
print(" number of images per tracklet: {} ~ {}, average {:.1f}".format(min_num, max_num, avg_num))
print(" ------------------------------")
self.train = train
self.query = query
self.gallery = gallery
self.num_train_pids = num_train_pids
self.num_query_pids = num_query_pids
self.num_gallery_pids = num_gallery_pids
最后，输出Mars数据集的一些基本信息。
六.创建 dataset
通过字典的方式，构建一个dataset。
__factory = {
'mars': Mars,
'ilidsvid': iLIDSVID,
'prid': PRID,
}
# 获得相应数据集的名称(key)
def get_names():
return __factory.keys()
# 定义初始化数据集函数
def init_dataset(name, *args, **kwargs):
# 如果数据集名称不在数据集字典中,报错keyerror ，映射中没有这个数据集
if name not in __factory.keys():
raise KeyError("Unknown dataset: {}".format(name))
return __factory[name](*args, **kwargs) # 返回类的实例化Mars（）
最后，
if __name__ == '__main__':
dataset = Mars()
在main程序中初始化Mars的语句：
dataset = data_manager.init_dataset(name=args.dataset)
七.结语
Mars数据集管理就介绍到这，若有问题，欢迎大家与我交流，
我的邮箱为asuradayuci@gmail.com。
github：https://github.com/AsuradaYuci/understand_videobased_reid/blob/master/1数据集管理.py。
接下来会接着介绍如何基于Mars数据集，实现video_based person-ReId。下一次要介绍的是从Mars数据集中采样，形成一个batch，
数据形状为(batch, seq_len, channel, height, width)。
扫一扫
1429
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
