【darknet学习笔记】修改训练图像分类加载数据类型

最新推荐文章于 2021-05-30 20:36:40 发布

haimianjie2012

最新推荐文章于 2021-05-30 20:36:40 发布

阅读量701

点赞数

分类专栏： # darknet 文章标签： darknet train 图像分类深度学习机器学习

本文链接：https://blog.csdn.net/haimianjie2012/article/details/104265159

版权

darknet 专栏收录该内容

68 篇文章 7 订阅

订阅专栏

修改darknet源代码，使其能够直接训练二进制图像数据

load_data_augment()调用参数说明

load_data_augment源代码解析

classifier.c文件中数据类型为CLASSIFICATION_DATA

 args.type = CLASSIFICATION_DATA;

data.c文件中的load_thread()函数中调用load_data_augment（）函数：

void *load_thread(void *ptr)
{
    //srand(time(0));
    //printf("Loading data: %d\n", random_gen());
    load_args a = *(struct load_args*)ptr;
    if(a.exposure == 0) a.exposure = 1;
    if(a.saturation == 0) a.saturation = 1;
    if(a.aspect == 0) a.aspect = 1;

    if (a.type == OLD_CLASSIFICATION_DATA){
        *a.d = load_data_old(a.paths, a.n, a.m, a.labels, a.classes, a.w, a.h);
    } else if (a.type == CLASSIFICATION_DATA){
        *a.d = load_data_augment(a.paths, a.n, a.m, a.labels, a.classes, a.hierarchy, a.flip, a.min, a.max, a.size, a.angle, a.aspect, a.hue, a.saturation, a.exposure);
    } else if (a.type == SUPER_DATA){

load_data_augment()调用参数说明

 args.paths = paths;
 args.n = imgs;
 args.m = train_images_num;
 args.labels = labels;

 args.classes = classes;
 args.hierarchy = net.hierarchy;
 
 args.flip = net.flip;
 args.min = net.min_crop;
 args.max = net.max_crop;

 args.size = net.w > net.h ? net.w : net.h;

 args.angle = net.angle;
 args.aspect = net.aspect;
 args.hue = net.hue; 
 args.saturation = net.saturation;
 args.exposure = net.exposure;

a.paths,

list *options = read_data_cfg(datacfg);
char *train_list = option_find_str(options, "train", "data/train.list");
list *plist = get_paths(train_list);
char **paths = (char **)list_to_array(plist);
args.paths = paths;

train_classifier()函数调用参数说明已经知道，datacfg,数据说明文件路径，图像分类数据说明文件一般命名为meta.data。

paths字符串数组，是meta.data文件夹下train后面对应list文件所包含所有图片路径，train默认值为“data/train.list”。

a.n,

int subdivs = option_find_int(options, "subdivisions",1);
net->subdivisions = subdivs;
net->batch = option_find_int(options, "batch",1);
int imgs = net.batch * net.subdivisions * ngpus;
args.n = imgs;

ngpus由train指令的-ngpus命令指定，如果没有指定该命令，ngpus默认为1。

batch，subdivisions为cfg文件指定batch和subdivisions。cfg文件中batch和subdivisions代表的含义，参看以前的博文：

a.m,

list *options = read_data_cfg(datacfg);
char *train_list = option_find_str(options, "train", "data/train.list");
list *plist = get_paths(train_list);
int train_images_num = plist->size; 
args.m = train_images_num;

用于分类的图像张数，该值等于datacfg路径所指文件meta.data文件中train字段对应list中的图片张数。

a.labels,

 list *options = read_data_cfg(datacfg);
 char *label_list = option_find_str(options, "labels", "data/labels.list");
 char **labels = get_labels(label_list);
 args.labels = labels;

a.classes,

  list *options = read_data_cfg(datacfg);
  int classes = option_find_int(options, "classes", 2);
  args.classes = classes;

分类任务的类别个数，例如二分类任务，此处classes=2。

a.hierarchy,

 }else if(lt == SOFTMAX){
            l = parse_softmax(options, params);
            net.hierarchy = l.softmax_tree;
。。。。。。
args.hierarchy = net.hierarchy;

cfg文件中每一层结构前有一个[]标记起来的层名，例如sofmax网络层参数最前面会有一行[softmax]

部分cfg文件参数如下：

[convolutional]
batch_normalize=1
filters=1024
size=3
stride=1
pad=1
activation=leaky

[convolutional]
filters=2
size=1
stride=1
pad=1
activation=linear

[avgpool]

[softmax]
groups=1

每一段代表一个网络层，每一段第一行类似[convolutional]标识该网络层的类别，紧接着是该网络层的参数。[convolutional]标识下面这一段为一个卷积层参数。

回归到net.hierarchy，hirerarchy中文意思为层次关系，那么net.hierarchy表示如果此前网络层为softmax层，hirerarchy指向一个softmax_tree。