1.程序运行效果图展示:
图一:图片批量检测保存到自定义目录下
图二:图片批量检测后的结果,每个FILR为一行,||是不同类型的分割符号。
2.程序需要修改的地方:
我的环境是ubuntu 18.04,opencv 4.1(g++13以下不支持高于4.0的opencv,所以把makefile中opencv的值置为0),使用的是yolo官网下载的c语言版本(https://pjreddie.com/darknet/yolo/)。
1>修改 makefile 中的文件
GPU和CUDNN置为1,其他三个置为0。在darknet的源码中,已经对是否开启opencv选项做了处理。如:
#ifdef OPENCV
image out = load_image_cv(filename, c);
#else
image out = load_image_stb(filename, c);
2>修改 detector.c 文件:
注意:注意:注意:在修改任何文件之前,都应该做好备份,方便随时返回(只提醒一遍哦)。
首先按参考1的较下面部分,它将介绍 批量测试图片并保存在自定义文件夹下
包括三步:
- void test_detector函数改变(注意有3处要改成自己的路径)
- 在前面添加*GetFilename(char *p)函数(注意后面的注释)
- 在darknet下重新make
先可以按上面进行修改,然后 make ,测试能否将图片批量检测并输出到自定义文件夹下,下面我会提供我的最终test_detector函数的代码。
上述操作,我遇到的问题:
1> 问题:刚开始,makefile中的前4行,我都置为1,但是,提示找不到CV_WINDOW_NORMAL的定义,
解决方案:加入头文件 #include <opencv2/highgui/highgui_c.h>
2>问题:加入头文件 #include <opencv2/highgui/highgui_c.h> 后提示我 opencv4.0以上需要 g++13支持。
解决方案:查了下网上说是需要加入 cmake版本,或者在 cmke 编译中加入选项,还有暴力方法装opencv4.0以下的版本,这个问题我没解决,但是找到了替代方法。
3>替代方法:makefile文件中,GPU和CUDNN为1,其他三项为0,压根就不通过opencv编译的路。GPU、CUDNN也可以置为0,但是速度会慢很多。
到此为止,我们已经实现了批量测试图片并保存在自定义文件夹下,下面,将开始介绍保存检测结果到txt文件中,不妨我将其称为第三点。
3.程序还需要修改的地方(真正修改的很少,贴出来是为了方便粘贴,hh):
两个部分: detector.c文件和 image.c文件,我将尽力描述我所作的事情。如果可以理解,那用起来会更方便。
1>再次修改 detecot.c文件
需要加入头文件 # include<string.h>
需要加入*GetFilename(char *p)函数(注意后面的注释)(第二点说过)
中间那段代码,上下都留出了好多空行,是我加入的,我写了注释,应当容易理解。
总结该函数中需要修改的地方:
三个路径,while循环中的条件,打开保存检测结果的 txt 文件的路径
void test_detector(char *datacfg, char *cfgfile, char *weightfile, char *filename, float thresh, float hier_thresh, char *outfile, int fullscreen)
{
list *options = read_data_cfg(datacfg);
char *name_list = option_find_str(options, "names", "data/names.list");
char **names = get_labels(name_list);
image **alphabet = load_alphabet();
network *net = load_network(cfgfile, weightfile, 0);
set_batch_network(net, 1);
srand(2222222);
double time;
char buff[256];
char *input = buff;
float nms=.45;
int i=0;
while(1){
if(filename){
strncpy(input, filename, 256);
image im = load_image_color(input,0,0);
image sized = letterbox_image(im, net->w, net->h);
//image sized = resize_image(im, net->w, net->h);
//image sized2 = resize_max(im, net->w);
//image sized = crop_image(sized2, -((net->w - sized2.w)/2), -((net->h - sized2.h)/2), net->w, net->h);
//resize_network(net, sized.w, sized.h);
layer l = net->layers[net->n-1];
float *X = sized.data;
time=what_time_is_it_now();
network_predict(net, X);
printf("%s: Predicted in %f seconds.\n", input, what_time_is_it_now()-time);
int nboxes = 0;
detection *dets = get_network_boxes(net, im.w, im.h, thresh, hier_thresh, 0, 1, &nboxes);
//printf("%d\n", nboxes);
//if (nms) do_nms_obj(boxes, probs, l.w*l.h*l.n, l.classes, nms);
if (nms) do_nms_sort(dets, nboxes, l.classes, nms);
draw_detections(im, dets, nboxes, thresh, names, alphabet, l.classes);
free_detections(dets, nboxes);
if(outfile)
{
save_image(im, outfile);
}
else{
save_image(im, "predictions");
#ifdef OPENCV
cvNamedWindow("predictions", CV_WINDOW_NORMAL);
if(fullscreen){
cvSetWindowProperty("predictions", CV_WND_PROP_FULLSCREEN, CV_WINDOW_FULLSCREEN);
}
show_image(im, "predictions");
cvWaitKey(0);
cvDestroyAllWindows();
#endif
}
free_image(im);
free_image(sized);
if (filename) break;
}
else {
printf("Enter Image Path: ");
fflush(stdout);
input = fgets(input, 256, stdin);
if(!input) return;
strtok(input, "\n");
list *plist = get_paths(input);
char **paths = (char **)list_to_array(plist);
printf("Start Testing!\n");
int m = plist->size;
if(access("/home/user/darknet/data/out",0)==-1)//"/home/FENGsl/darknet/data"修改成自己的路径
{
if (mkdir("/home/user/darknet/data/out",0777))//"/home/FENGsl/darknet/data"修改成自己的路径
{
printf("creat file bag failed!!!");
}
}
for(i = 0; i < m; ++i){
char *path = paths[i];
image im = load_image_color(path,0,0);
image sized = letterbox_image(im, net->w, net->h);
//image sized = resize_image(im, net->w, net->h);
//image sized2 = resize_max(im, net->w);
//image sized = crop_image(sized2, -((net->w - sized2.w)/2), -((net->h - sized2.h)/2), net->w, net->h);
//resize_network(net, sized.w, sized.h);
layer l = net->layers[net->n-1];
float *X = sized.data;
time=what_time_is_it_now();
network_predict(net, X);
printf("Try Very Hard:");
printf("%s: Predicted in %f seconds.\n", path, what_time_is_it_now()-time);
int nboxes = 0;
detection *dets = get_network_boxes(net, im.w, im.h, thresh, hier_thresh, 0, 1, &nboxes);
//printf("%d\n", nboxes);
//if (nms) do_nms_obj(boxes, probs, l.w*l.h*l.n, l.classes, nms);
if (nms) do_nms_sort(dets, nboxes, l.classes, nms);
// 下面为我自己加入的代码
// path为 /home/user/darknet/data/FILR/FLIR_00025.png
// 想要得到最后的值 FILR_00025.png,这里我使用了strtok函数,依次去分割 '/'
// 需要改的部分是:while 中的判断 iii < 5,你要根据自己的路径去改,主要是看 '/'的数目
char str1[100];
// sprintf()函数: 将后面的 变量 path 写入到 变量 str1 中,详细用法自己查一下。
sprintf(str1,"%s",path);
char delims[]="/"; // 定义分隔符
char *result = NULL;
result = strtok(str1,delims);
int iii = 0;
// 循环结束退出后,result = 'FLIR_00025.png',再次提醒, iii<5 需要改变
while(iii<5)
{
result = strtok(NULL,delims);
iii++;
}
// 打开本地的txt文件,'a'表示追加的意思,还有'w','r'等等,可以去详细查看用法
FILE *fp = fopen("/home/user/darknet/results/ground.txt", "a");
// fp为空说明,打开文件失败
if(fp ==NULL)
{
printf("file cannot open \n");
}
else
{
// printf("start to wirite file \n");
// fprintf(save_txt,"%s\t%d\t%d\t%d\t%d\t%.2f\n", names[class], left, top, right-left, bot-top, dets[i].prob[class]);
printf("%s\n",result);
// fprint()表示将 result 输出(或叫写)入文件中
fprintf(fp,"\n%s",result);
fclose(fp);
}
// 指针用完赋值为 NULL
result = NULL;
draw_detections(im, dets, nboxes, thresh, names, alphabet, l.classes);
// draw_save_detections( im, /* 原始图像 */
// dets, /* 预测结果 */
//nboxes, /* 候选框数目 */
//thresh, /* 置信度阈值 */
// names, /* 加载的类别名称 */
//alphabet, /* 用于显示的字符 */
//l.classes, /* 类别 */
//fp);
free_detections(dets, nboxes);
if(outfile){
save_image(im, outfile);
}
else{
char b[2048];
sprintf(b,"/home/user/darknet/data/out/%s",GetFilename(path));//"/home/FENGsl/darknet/data"修改成自己的路径
save_image(im, b);
printf("save %s successfully!\n",GetFilename(path));
#ifdef OPENCV
cvNamedWindow("predictions", CV_WINDOW_NORMAL);
if(fullscreen){
cvSetWindowProperty("predictions", CV_WND_PROP_FULLSCREEN, CV_WINDOW_FULLSCREEN);
}
show_image(im, "predictions");
cvWaitKey(0);
cvDestroyAllWindows();
#endif
}
free_image(im);
free_image(sized);
if (filename) break;
}
}
}
}
2>修改 image.c 文件
下面是我修改好的 draw_detections()函数,修改部分在该函数的中间,就是简单的打开 保存检测结果的 txt 文件,并写入相应的类别、坐标、置信度。
其中每个 FILR_img 为一行,只是因为显示问题,所以换行,并没有真正的换行符,相邻的类型以 || 隔开。
void draw_detections(image im, detection *dets, int num, float thresh, char **names,
image **alphabet, int classes)
{
int i,j;
// printf("the number of bbox is %d\n",num);
for(i = 0; i < num; ++i){
char labelstr[4096] = {0};
int class = -1;
for(j = 0; j < classes; ++j){
char res[20] = {0}; // 加入的代码,目的为了显示识别物体的同事,也显示识别的精度
if (dets[i].prob[j] > thresh){
if (class < 0) {
strcat(labelstr, names[j]);
class = j;
} else {
strcat(labelstr, ", ");
strcat(labelstr, names[j]);
}
// 显示精度开始
sprintf(res,"%.2f",dets[i].prob[j]*100);
strcat(labelstr,":");
strcat(labelstr,res);
strcat(labelstr,"%");
// 显示精度结束
printf("%s: %.0f%%\n", names[j], dets[i].prob[j]*100);
}
}
if(class >= 0){
int width = im.h * .006;
/*
if(0){
width = pow(prob, 1./2.)*10+1;
alphabet = 0;
}
*/
//printf("%d %s: %.0f%%\n", i, names[class], prob*100);
int offset = class*123457 % classes;
float red = get_color(2,offset,classes);
float green = get_color(1,offset,classes);
float blue = get_color(0,offset,classes);
float rgb[3];
//width = prob*20+2;
rgb[0] = red;
rgb[1] = green;
rgb[2] = blue;
box b = dets[i].bbox;
//printf("%f %f %f %f\n", b.x, b.y, b.w, b.h);
int left = (b.x-b.w/2.)*im.w;
int right = (b.x+b.w/2.)*im.w;
int top = (b.y-b.h/2.)*im.h;
int bot = (b.y+b.h/2.)*im.h;
if(left < 0) left = 0;
if(right > im.w-1) right = im.w-1;
if(top < 0) top = 0;
if(bot > im.h-1) bot = im.h-1;
// 打开 保存检测结果的 txt 文件
FILE *fp = fopen("/home/user/darknet/results/ground.txt", "a");
if(fp ==NULL)
{
printf("file cannot open \n");
}
else
{
// printf("start to wirite file \n");
// fprintf(save_txt,"%s\t%d\t%d\t%d\t%d\t%.2f\n", names[class], left, top, right-left, bot-top, dets[i].prob[class]);
fprintf(fp," ||%s %d %d %d %d %.2f",names[class], left, top, right-left, bot-top, dets[i].prob[class]);
fclose(fp);
}
draw_box_width(im, left, top, right, bot, width, red, green, blue);
if (alphabet) {
image label = get_label(alphabet, labelstr, (im.h*.03));
draw_label(im, top + width, left, label, rgb);
free_image(label);
}
if (dets[i].mask){
image mask = float_to_image(14, 14, 1, dets[i].mask);
image resized_mask = resize_image(mask, b.w*im.w, b.h*im.h);
image tmask = threshold_image(resized_mask, .5);
embed_image(tmask, im, left, top);
free_image(mask);
free_image(resized_mask);
free_image(tmask);
}
}
}
}
然后,到 darknet 目录下,make一下,然后执行 ( 其中的cfg和weights换成你自己要用的 ,相信只要你自己玩过一次就懂):
./darknet detect cfg/yolov3.cfg yolov3.weights
输入图片的目标文件,如:/home/user/darknet/data/rgb_1.txt
rgb_1.txt 中的内容如下:
到此为止,我们就实现了YOLOv3批量检测图片和保存检测结果到 txt 文件中。
过几天会写一个python脚本,将 txt 文件转为 xml 文件,每个图片一个 xml ,即:voc数据格式。
import os,sys
import glob
from PIL import Image
src_txt_dir = "E:/Dataset/FLIR_ADAS_1_3/ground.txt"
src_ann_dir = "E:/Dataset/FLIR_ADAS_1_3/val_xml"
# 取出图片的路径 如: C:/USer/1.jpg
# 这里是取出我的groud truth,然后进行处理
gt = open(src_txt_dir).read().splitlines()
# 我的ground truth第1行不需要,所以删除
gt = gt[1:]
# 我的图片宽度、高度都一致,所以直接读一张图,确定 width 、 height
im = Image.open('E:/Dataset/FLIR_ADAS_1_3/val/RGB/FLIR_08863.jpg')
width,height = im.size
print(width,height)
for img in gt:
# 按 || 分割,生成 list ,保存到 img_1 中 ,可以打印出结果再一步步更改
img_1 = img.split('||')
img_name = img_1[0]
print(img_name)
xml_file = open((src_ann_dir + '/' + img_name.split('.')[0] + '.xml'), 'w')
xml_file.write('<annotation>\n')
xml_file.write('\t<folder>simple</folder>\n')
xml_file.write('\t<filename>' + str(img_name) + '</filename>\n')
xml_file.write('\t<source>\n')
xml_file.write('\t\t<database>' + 'FILR_Dataset' + '</database>\n')
xml_file.write('\t\t<annotation>' + 'FLIR' + '</annotation>\n')
xml_file.write('\t\t<image>FILR</image>\n')
xml_file.write('\t\t<flickrid>123456</flickrid>\n')
xml_file.write('\t</source>\n')
# xml_file.write('\t<owner>\n')
# xml_file.write('\t\t<flickrid>archin</flickrid>\n')
# xml_file.write('\t\t<name>?</name>\n')
# xml_file.write('\t</owner>\n')
xml_file.write('\t<size>\n')
xml_file.write('\t\t<width>' + str(width) + '</width>\n')
xml_file.write('\t\t<height>' + str(height) + '</height>\n')
xml_file.write('\t\t<depth>3</depth>\n')
xml_file.write('\t</size>\n')
xml_file.write('\t<segmented>0</segmented>\n') # 是否用于分割(在图像物体识别中01无所谓)
# 遍历 目标,根据前面用 || 划分完的个数
# 每有一个 object ,就循环一次
for k in img_1[1:]:
kk = k.split(' ') # 3个空格
class_1 = kk[0]
x1 = kk[1]
x2 = kk[2]
x3 = kk[3]
x4 = kk[4]
print(class_1,x1,x2,x3,x4)
xml_file.write('\t<object>\n')
xml_file.write('\t\t<name>'+class_1+'</name>\n')
xml_file.write('\t\t<pose>Unspecified</pose>\n')
xml_file.write('\t\t<truncated>0</truncated>\n')
xml_file.write('\t\t<difficult>0</difficult>\n')
xml_file.write('\t\t<bndbox>\n')
xml_file.write('\t\t\t<xmin>' + str(x1) + '</xmin>\n')
xml_file.write('\t\t\t<ymin>' + str(x2) + '</ymin>\n')
xml_file.write('\t\t\t<xmax>' + str(x3) + '</xmax>\n')
xml_file.write('\t\t\t<ymax>' + str(x4) + '</ymax>\n')
xml_file.write('\t\t</bndbox>\n')
xml_file.write('\t</object>\n')
xml_file.write('</annotation>')
print('end end end!')
参考1:YOLOv3批量测试图片并保存在自定义文件夹下 https://blog.csdn.net/mieleizhi0522/article/details/79989754