Windows10环境下解压使用Glint360K数据集

Windows10环境下解压使用Glint360K数据集

Glint360K数据集介绍

关于Glint360k数据集的介绍：
参见：知乎https://zhuanlan.zhihu.com/p/265673438
数据集已经开源：
GitHub开源链接https://github.com/deepinsight/insightface/tree/master/recognition/partial_fc#glint360k
论文地址lhttps://arxiv.org/abs/2010.05222

详细操作步骤

下载数据集

在GitHub上找到数据集的百度云下载链接，提取码：o3az 下载数据集。

下载完成后，得到这样的文件
github教程上虽然给了解压命令，但是是针对Linux系统的，那么针对Windows系统，怎么做呢？答案就是使用Git

下载并安装Git

Git下载链接:https://git-scm.com/download/win

Git安装教程https://www.jianshu.com/p/414ccd423efc

第一步解压

Git的安装完成后，打开数据文件夹
鼠标右键，点击"Git Bash Here"

然后输入官方给出的命令：

cat glint360k_* | tar -xzvf -

不要忘记了最后的"-"

（操作时间原因，两张图片路径略有不同，但这不重要）

数据集很大，耐心等待
数据集很大，耐心等待
数据集很大，耐心等待

解压完后，就会得到这样的文件数据集：

到这一步，文件是可以直接使用的。
比如.bin文件，.rec文件，具体的，小伙伴们自己可以查找相关资料

此图来自实验室李学长的指导，数据集在Windows 10上的解压，离不开学长的帮助，在此鸣谢！！Thank you!

第二步解压

在得到这些文件以后，如何查看数据集的图片呢？

链接如下：https://github.com/deepinsight/insightface/blob/master/recognition/partial_fc/unpack_glint360k.py

单个文件不好下载，就可以直接复制下面的代码，然后命名为unpack_glint360k.py

from __future__ import absolute_import
from __future__ import division
from __future__ import print_function

import argparse
import os

import cv2
import mxnet as mx


def main(args):
    include_datasets = args.include.split(',')
    rec_list = []
    for ds in include_datasets:
        path_imgrec = os.path.join(ds, 'train.rec')
        path_imgidx = os.path.join(ds, 'train.idx')
        imgrec = mx.recordio.MXIndexedRecordIO(path_imgidx, path_imgrec, 'r')  # pylint: disable=redefined-variable-type
        rec_list.append(imgrec)
    if not os.path.exists(args.output):
        os.makedirs(args.output)

    #
    imgid = 0
    for ds_id in range(len(rec_list)):
        imgrec = rec_list[ds_id]
        s = imgrec.read_idx(0)
        header, _ = mx.recordio.unpack(s)
        assert header.flag > 0
        seq_identity = range(int(header.label[0]), int(header.label[1]))

        for identity in seq_identity:
            s = imgrec.read_idx(identity)
            header, _ = mx.recordio.unpack(s)
            for _idx in range(int(header.label[0]), int(header.label[1])):
                s = imgrec.read_idx(_idx)
                _header, _img = mx.recordio.unpack(s)
                label = int(_header.label[0])
                class_path = os.path.join(args.output, "id_%d" % label)
                if not os.path.exists(class_path):
                    os.makedirs(class_path)
                _img = mx.image.imdecode(_img).asnumpy()[:, :, ::-1]  # to bgr
                image_path = os.path.join(class_path, "%d_%d.jpg" % (label, imgid))
                cv2.imwrite(image_path, _img)
                imgid += 1
                if imgid % 10000 == 0:
                    print(imgid)


if __name__ == '__main__':
    parser = argparse.ArgumentParser(description='do dataset merge')
    # general
    parser.add_argument('--include', default='', type=str, help='')
    parser.add_argument('--output', default='', type=str, help='')
    args = parser.parse_args()
    main(args)

然后使用cmd命令行运行

python unpack_glint360k.py  --include=E:\glint360k\glint360k  --output=E:\glint360k_unzip

#E:\glint360k\glint360k 是指解压出来的文件所在的文件夹，如下图所示
#E:\glint360k_unzip  是你希望最后解压出来的文件在哪个文件夹
#这是我解压时的设置

输入命令运行后，就开始解压了：

tip：
1.python的相关依赖需要自己安装
2.我这里是把解压的py文件放到数据集文件夹下，所以需要进行路径切换

数据集很大，耐心等待
数据集很大，耐心等待
数据集很大，耐心等待

最后数据集解压完成！！！


放几张数据集的图片

至此，数据集在Windows 10上就解压完毕了！！！！