【opencv】角点检测——虚线表格

处理对象——虚线表格

把之前做研电赛的东西做一点小的分享，先给大家看一下所处理的对象。可以看到我们所面对的表格具有特殊性和复杂性，表格线为虚线，且存在错位情况。在这种情况下想要准确检测出表格区域，并不是容易的事。

我们需要对这种原始图像做较多的预处理，以达到去掉文字干扰的目的，下次的博客可以再对这块进行一个细致的说明。
我制作了一张预处理之后的图片来做算法测试。

处理方法——角点检测

角点检测作为图像处理中对于特征提取与检测的重要方式之一，具有非常广泛的应用空间。
角点的具体描述可以有几种：

1. 一阶导数(即灰度的梯度)的局部最大所对应的像素点；
2. 两条及两条以上边缘的交点；
3. 图像中梯度值和梯度方向的变化速率都很高的点；
4. 角点处的一阶导数最大，二阶导数为零，指示物体边缘变化不连续的方向。
   角点检测中常用的算法有Harris角点检测和Shi-Tomasi 角点检测算法。Shi-Tomasi 算法是对Harris的改进，今天主要分享Harris算法的运用。

Harris角点检测

当一个窗口在图像上移动，在平滑区域如图(a)，窗口在各个方向上没有变化。在边缘上如图(b)，窗口在边缘的方向上没有变化。在角点处如图©，窗口在各个方向上具有变化。Harris角点检测正是利用了这个直观的物理现象，通过窗口在各个方向上的变化程度，决定是否为角点。

将图像窗口平移[u,v]产生灰度变化E(u,v)

由：
得到：

对于局部微小的移动量 [u,v]，近似表达为：

其中M是 2*2 矩阵，可由图像的导数求得：

E(u,v)的椭圆形式如下图：

定义角点响应函数 R 为：

Harris角点检测算法就是对角点响应函数R进行阈值处理：R > threshold，即提取R的局部极大值。

函数解读

C++:

void cornerHarris(InputArray src,//输入的原图Mat类型，需要为单通道8位或者浮点型图像
				  OutputArray dst, //存放Harris角点检测的输出结果，和原图片有一样的尺寸和类型；
				  int blockSize, //表示邻域的大小，更多详细信息在cornerEigenValsAndVecs()中讲到；
				  int ksize,//表示Sobel()算子的孔径的大小； 
				  double k, //Harris参数；通常是0.04
			      int borderType=BORDER_DEFAULT)//图像像素的边界模式。注意它有默认值BORDER_DEFAULT；

我的代码如下，你需要先配置好opencv到VS中，具体操作可以看我之前的博客；

#include<opencv2/opencv.hpp>
#include <opencv2/core/core.hpp>
#include <opencv2/highgui/highgui.hpp>
#include <opencv2/imgproc/imgproc.hpp>
#include <opencv2\imgproc\types_c.h>//opencv4所不一样的地方
#include <iostream>

using namespace cv;
using namespace std;


Mat image;
Mat imageGray;
int thresh = 170;
int MaxThresh = 255;

void Trackbar(int, void*);  //阈值控制

int main()
{
	image = imread("4.jpg");
	cvtColor(image, imageGray, CV_RGB2GRAY);
	GaussianBlur(imageGray, imageGray, Size(5, 5), 1); // 滤波
	namedWindow("Corner Detected");//,CV_WINDOW_AUTOSIZE
	createTrackbar("threshold：", "Corner Detected", &thresh, MaxThresh, Trackbar);
	imshow("Corner Detected", image);
	Trackbar(0, 0);
	waitKey();
	return 0;
}

void Trackbar(int, void*)
{
	Mat dst, dst8u, dstshow, imageSource;
	dst = Mat::zeros(image.size(), CV_32FC1);
	imageSource = image.clone();
	cornerHarris(imageGray, dst, 9, 5, 0.04, BORDER_DEFAULT);
	normalize(dst, dst8u, 0, 255, CV_MINMAX);  //归一化
	convertScaleAbs(dst8u, dstshow);
	imshow("dst", dstshow);  //dst显示
	for (int i = 0; i<image.rows; i++)
	{
		for (int j = 0; j<image.cols; j++)
		{
			if (dstshow.at<uchar>(i, j)>thresh)  //阈值判断
			{
				circle(imageSource, Point(j, i), 2, Scalar(0, 0, 255), 2); //标注角点
				cout << Point(j, i);
			}
		}
	}
	rectangle(imageSource, cvPoint(69, 49), cvPoint(440, 603), cvScalar(0, 0, 255), 2, 4, 0);
	imshow("Corner Detected", imageSource);
}

处理结果

可以看到在阈值设定合适的情况下，对角点的检测效果还是比较客观的，但阈值的设定存在一定困难，面对不同的图容易出现如下情况，将粗的直线认为是矩形从而检测出过多的角点，我认为为了避免这类情况需要在预处理阶段做出更多干预处理。下一篇博客分享

参考博客：https://blog.csdn.net/qq_27396861/article/details/87898892
https://blog.csdn.net/xiaowei_cqu/article/details/7805206