目录
前言
目前主流的较前卫的目标检测方案是基于深度学习,而传统的方案则是基于手工特征,即通过对图形进行滑动窗口遍历计算机特征值,并训练特征分类器以达到检测的目的。本文则是基于级联分类器的样本训练过程的记录。
准备工作
-
硬件
可以长时间训练特征文件的电脑,样本文件的高宽比较大的时候,训练可能会耗费几十个小时甚至几天时间。
-
软件
- 样本处理工具:推荐 XnConvert-win-x64.exe,可以批量重命名、旋转、镜像、灰度、缩放等。曾用过imagetuner_8.0.exe、reaConverterLite-Setup.exe,必要的时候还可以结合使用everything.exe重命名。imagetuner_8.0.exe功能比较简单,reaConverterLite-Setup.exe这个软件界面好用但是批量处理经常崩溃,而且需要通过资源管理器关闭界面再次开始,好处是重命名的功能,可以修改替换原有文件名,这个软件有收费版,没有尝试。
训练过程
第一步:准备样本
正样本与负样本。考虑各种场景下的正样本照片,负样本照片即为背景照片,正负样本的数量比以1:3为宜,如果负样本的图幅度很大,可以考虑降低负样本的数量,因为是通过正样本在负样本上的滑动遍历。
这个部分最大量的工作就是样本查找,对于正样本就是对其轮廓按照矩形或者圆形抠图,对与负样本就是寻找大量的背景图片。当样本数量不够时,可以考虑扩充样本。
正样本抠图
注意,不要用截屏工具。
扩充样本
对称、旋转
第二步:生成样本描述文件
可以通过cmd命令行实现,当然最方便可以写个程序一次生成,这是我用c++编写的两个小程序,目前用着没发现bug,够用。
正样本描述文件生成c++伪码
#include <iostream>
#include <string>
#include <io.h>
#include <windows.h>
#include <gdiplus.h>
#pragma comment(lib, "gdiplus.lib")using namespace std;
using namespace Gdiplus;int main()
{
//输入文件目录
char dir[256] = { 0 };
cout << "Enter a directory: ";
cin.getline(dir, 255);
//检查文件目录路径是否合法,添加"\\*.*"
char dirNew[261] = { 0 };
strcpy_s(dirNew, dir);
strcat_s(dirNew, "\\*.*");//遍历目录下的文件,并读取图片信息,写入描述文件
GdiplusStartupInput gdiplusstartupinput;
ULONG_PTR gdiplustoken;
GdiplusStartup(&gdiplustoken, &gdiplusstartupinput, NULL);intptr_t handle;
_finddata_t findData;handle = _findfirst(dirNew, &findData);
if (handle == -1) // 检查是否成功
{
cout << "no file" << endl;
system("Pause");
return 0;
}
//创建空白描述文件
char filePath[256] = { 0 };
strcpy_s(filePath, dir);
strcat_s(filePath, "\\posdata.dat");
FILE *fp = NULL;
errno_t err = fopen_s(&fp, filePath, "w+");
if (err != 0)
{
cout << "open err" << endl;
system("Pause");
return 0;
}do
{//如果当前文件有子文件夹
if (findData.attrib & _A_SUBDIR)
{
/*if (strcmp(findData.name, ".") == 0 || strcmp(findData.name, "..") == 0)
continue;*///cout << findData.name << "\t<dir>\n";
在目录后面加上"\\"和搜索到的目录名进行下一次搜索
//strcpy_s(dirNew, dir);
//strcat_s(dirNew, "\\");
//strcat_s(dirNew, findData.name);//listFiles(dirNew);
}
else
{
cout << findData.name << "\t" << findData.size << " bytes.\n";
//判断如果文件类型不是图片,则跳过
string fileName(findData.name);
string fileType = fileName.substr(strlen(findData.name) - 4);
if (!(fileType == ".jpg" || fileType == ".jpeg" || fileType == ".jpe" || fileType == ".bmp"))
continue;//添加文件夹名
//fputs("cw45/", fp);fputs(findData.name, fp);
fputs(" 1 0 0 ", fp);//路径字符转宽字符
char ImgPath[512] = { 0 };
sprintf_s(ImgPath, "%s%s%s", dir, "\\", findData.name);
int len = 0;
len = strlen(ImgPath);
int unicodeLen = ::MultiByteToWideChar(CP_ACP, 0, ImgPath, -1, NULL, 0);
wchar_t *pUnicode = new wchar_t[unicodeLen + 1];
memset(pUnicode, 0, (unicodeLen + 1) * sizeof(wchar_t));
::MultiByteToWideChar(CP_ACP, 0, ImgPath, -1, (LPWSTR)pUnicode, unicodeLen);wstring infilename((wchar_t*)pUnicode);
Bitmap* bmp = new Bitmap(infilename.c_str());
UINT height = bmp->GetHeight();
UINT width = bmp->GetWidth();
cout << "width " << width << ", height " << height << endl;fprintf(fp, "%d", width);
fputs(" ", fp);
fprintf(fp, "%d", height);
delete[] pUnicode;
delete bmp;
fputs("\n", fp);
}
} while (_findnext(handle, &findData) == 0);// 关闭搜索句柄
_findclose(handle);
GdiplusShutdown(gdiplustoken);
fclose(fp);
system("Pause");
return 0;
}
负样本描述文件生成C++伪码
#include <iostream>
#include <string>
#include <io.h>using namespace std;
int main()
{
//输入文件目录
char dir[256] = { 0 };
cout << "Enter a directory: ";
cin.getline(dir, 255);
//TODO:检查文件目录路径是否合法,是否添加"\\*.*"
char dirNew[261] = { 0 };
strcpy_s(dirNew, dir);
strcat_s(dirNew, "\\*.*");
intptr_t handle;
_finddata_t findData;handle = _findfirst(dirNew, &findData);
if (handle == -1) // 检查是否成功
{
cout << "no file" << endl;
system("Pause");
return 0;
}
//创建空白描述文件
char filePath[256] = { 0 };
strcpy_s(filePath, dir);
strcat_s(filePath, "\\negdata.dat");
FILE *fp = NULL;
errno_t err = fopen_s(&fp, filePath, "w+");
if (err != 0)
{
cout << "open err" << endl;
system("Pause");
return 0;
}do
{
if (findData.attrib & _A_SUBDIR)
{
//if (strcmp(findData.name, ".") == 0 || strcmp(findData.name, "..") == 0)
// continue;//cout << findData.name << "\t<dir>\n";
在目录后面加上"\\"和搜索到的目录名进行下一次搜索
//strcpy_s(dirNew, dir);
//strcat_s(dirNew, "\\");
//strcat_s(dirNew, findData.name);//listFiles(dirNew);
}
else
{
//cout << findData.name << "\n";
//判断如果文件类型不是图片,则跳过
string fileName(findData.name);
string fileType = fileName.substr(strlen(findData.name) - 4);
if (!(fileType == ".jpg" || fileType == ".jpeg" || fileType == ".jpe" || fileType == ".bmp"))
continue;//路径字符转宽字符
char ImgPath[512] = { 0 };
sprintf_s(ImgPath, "%s%s%s", dir, "\\", findData.name);cout << ImgPath << "\n";
fputs(ImgPath, fp);
fputs("\n", fp);
}
} while (_findnext(handle, &findData) == 0);_findclose(handle); // 关闭搜索句柄
fclose(fp);
system("Pause");
return 0;
}
第三步:生成样本文件vec
第四步:训练分类器
打开windows命令处理程序,红色字符输入,黑色为输出
Microsoft Windows [版本 6.1.7601]
版权所有 (c) 2009 Microsoft Corporation。保留所有权利。
C:\Users\admin>cd /d G:\
G:\>cd JLCZ\OpenCV\opencv-3.4.2-vc14_vc15\opencv\build\x64\vc14\bin\
G:\JLCZ\OpenCV\opencv-3.4.2-vc14_vc15\opencv\build\x64\vc14\bin>
opencv_createsamples.exe -info G:\JLCZ\MachineVision\03_CreateSamples\v0.2\posdata\posdata.dat -vec G:\JLCZ\MachineVision\03_CreateSamples\v0.2\airplane_wheel_0_2.vec -num 5206 -w 150 -h 150
Info file name: G:\JLCZ\MachineVision\03_CreateSamples\v0.2\posdata\posdata.dat
Img file name: (NULL)
Vec file name: G:\JLCZ\MachineVision\03_CreateSamples\v0.2\airplane_wheel_0_2.vec
BG file name: (NULL)
Num: 5206
BG color: 0
BG threshold: 80
Invert: FALSE
Max intensity deviation: 40
Max x angle: 1.1
Max y angle: 1.1
Max z angle: 0.5
Show samples: FALSE
Width: 150
Height: 150
Max Scale: -1
RNG Seed: 12345
Create training samples from images collection...
Done. Created 5206 samples
G:\JLCZ\OpenCV\opencv-3.4.2-vc14_vc15\opencv\build\x64\vc14\bin>
opencv_traincascade.exe -data G:\JLCZ\MachineVision\04_CreateClassifier\v0.2 -vec G:\JLCZ\MachineVision\03_CreateSamples\v0.2\airplane_wheel_0_2.vec -bg G:\JLCZ\MachineVision\03_CreateSamples\v0.2\negdata\negdata.dat -numPos 4900 -numNeg 4284 -numStages 15 -featureType LBP -w 150 -h 150 -minHitRate 0.995 -maxFalseAlarmRate 0.5
过程中遇到的问题
1.vs动态链接库指针报错,提示为空
原因:参数错误,参数与值之间没有空格,添加空格就好了。
2.cmd训练出现“Train dataset for temp stage can not be filled. Branch training terminated ..."
解决:负样本图片路径错误,在描述文件中*.dat中修改就好了。
3.在createsamples执行之后需要注意cmd返回的命令,生成了多少样本,以该样本数量为准。假设你有5206和样本,但是createsamples只创建了1000个,意味着vec文件中只存储了1000个,这是有问题的,参数应该与返回值相同。检查参数发现 正样本数量的参数应该是“-num”,而输入为“_num”则出现了这种情况。解决办法为重新确认参数,生成vec。
4.opencv_traincascade.exe执行的参数,输入的正样本数量numPos需要小于实际得到的正样本数量,numPos+(numStages-1)*numPos*(1-minHitRate)《=准备的训练样本
5.
6.在控制台使用system(“pause”)不显示图像
为什么opencv里面这个用system(“pause”)就不能载入图像?
总结
(这本是去年未完成的部分,可惜一直拖到现在,以至于想不起来具体总结的内容,下次使用这个训练器之后再来总结吧)
引用
4.正式使用opencv里的训练和检测 - opencv_createsamples、opencv_traincascade-2.4.11版本
5.opencv训练自己的xml分类器以及如何获取opencv_createsamples.exe和opencv_traincascade.exe