因为pcl的点云模板匹配遇到了各种困难,暂时先用opencv的模板匹配函数做一个简单的焊缝识别,看看效果。此方法的缺陷就在于物体和相机位置必须固定,只允许微小位移,否则数据将失效。
1
什么是模板匹配?
模板匹配是一种用于查找与模板图像(补丁)匹配(类似)的图像区域的技术。
虽然补丁必须是一个矩形,可能并不是所有的矩形都是相关的。在这种情况下,可以使用掩模来隔离应该用于找到匹配的补丁部分。
它是如何工作的?
我们需要两个主要组件:
源图像(I):我们期望找到与模板图像匹配的图像
模板图像(T):将与模板图像进行比较的补丁图像
源图像--->模板图像--->匹配结果
要识别匹配区域,我们必须通过滑动来比较模板图像与源图像
通过滑动,我们的意思是一次移动补丁一个像素(从左到右,从上到下)。在每个位置,计算度量,以便它表示在该位置处的匹配的“好”还是“坏”(或者与图像的特定区域相似)。
2
OpenCV在函数matchTemplate()中实现模板匹配。可用的方法有以下6种(我采取的上第二种):
3
源图像(工件)
模板图像(焊缝)
匹配结果
焊缝锁定
端点空间坐标输出
然后通过匹配得到焊缝位置,使用getPointXYZ将像素坐标(u,v)转化为相机坐标(x,y,z)。从而得到焊缝的空间坐标,后续将xyz传给机械臂,为手眼标定做准备。
4
关键代码
其中因为matchTemplate的输入图像要求是三通道,而我得到的rgbd为四通道,需要使用cvtColor将四通道改为三通道(cv::cvtColor(rgbd, rgbd, COLOR_BGRA2BGR);)很关键,当时纠结了好久。
Mat rgbmat, depthmat, irmat, rgbd, model, result;
cv::namedWindow("registered", WND_PROP_ASPECT_RATIO);
//cv::namedWindow("result", WND_PROP_ASPECT_RATIO);
model = imread("model.png");
float x1, y1, z1, x2, y2, z2;
Point p1, p2;
while(!protonect_shutdown)
{
listener.waitForNewFrame(frames);
libfreenect2::Frame *rgb = frames[libfreenect2::Frame::Color];
libfreenect2::Frame *ir = frames[libfreenect2::Frame::Ir];
libfreenect2::Frame *depth = frames[libfreenect2::Frame::Depth];
cv::Mat(rgb->height, rgb->width, CV_8UC4, rgb->data).copyTo(rgbmat);
cv::Mat(ir->height, ir->width, CV_32FC1, ir->data).copyTo(irmat);
cv::Mat(depth->height, depth->width, CV_32FC1, depth->data).copyTo(depthmat);
registration->apply(rgb, depth, &undistorted, ®istered, true, &depth2rgb);
cv::Mat(registered.height, registered.width, CV_8UC4, registered.data).copyTo(rgbd);
cv::cvtColor(rgbd, rgbd, COLOR_BGRA2BGR);
int result_cols = rgbd.cols - model.cols + 1;
int result_rows = rgbd.rows - model.rows + 1;
result.create(result_cols, result_rows, CV_32FC1);
matchTemplate(rgbd, model, result, CV_TM_SQDIFF_NORMED);//这里我们使用的匹配算法是标准平方差匹配 method=CV_TM_SQDIFF_NORMED,数值越小匹配度越好
normalize(result, result, 0, 1, NORM_MINMAX, -1, Mat());
double minVal = -1;
double maxVal;
Point minLoc;
Point maxLoc;
Point matchLoc;
//cout << "匹配度:" << minVal << endl;
minMaxLoc(result, &minVal, &maxVal, &minLoc, &maxLoc, Mat());
//cout << "匹配度:" << minVal << endl;
matchLoc = minLoc;
p1 = Point(matchLoc.x+5, matchLoc.y+8);
p2 = Point(matchLoc.x-4 + model.cols, matchLoc.y+13);
//rectangle(rgbd, matchLoc, Point(matchLoc.x + model.cols, matchLoc.y + model.rows), Scalar(0, 255, 0), 2, 8, 0);
registration->getPointXYZ(&undistorted, p1.y, p1.x, x1, y1, z1 );
registration->getPointXYZ(&undistorted, p2.y, p2.x, x2, y2, z2 );
circle(rgbd, p1, 1, Scalar(255,255,0), 2);
circle(rgbd, p2, 1, Scalar(255,255,0), 2);
line(rgbd, p1, p2, Scalar(0,255,0));
cv::imshow("registered", rgbd);
//cv::imshow("result", result);
//cout << matchLoc.x <
cout <
cout <
int key = cv::waitKey(1);
protonect_shutdown = protonect_shutdown || (key > 0 && ((key & 0xFF) == 27)); // shutdown on escape
listener.release(frames);
}