OpencvForUnity 对图像中A4纸的提取

最近在撸一个unity小程序，要用到自动识别纸张，然后就找了一些相关资料，刚开始准备用C# Aforge类库来做图像处理，然而并不适合我，也许是我掌握不到精髓，最后选择用OpencvForUnity来做。
废话一大堆，直接进入正题…
先贴几个可能用得到API原型：

void Canny(InputArray image, OutputArray edges, double threshold1, double threshold2, int apertureSize = 3, bool L2gradient = false)
//InputArray类型的image，输入图像，即源图像，填Mat类的对象即可，且需为单通道8位图像。
//OutputArray类型的edges，输出的边缘图，需要和源图片有一样的尺寸和类型。
//double类型的threshold1，第一个滞后性阈值【低阈值】。值越大，找到的边缘越少     
//double类型的threshold2，第二个滞后性阈值【高阈值】。
//int类型的apertureSize，表示应用Sobel算子的孔径大小，其有默认值3。
//bool类型的L2gradient，一个计算图像梯度幅值的标识，有默认值false。
//低于阈值1的像素点会被认为不是边缘；
//高于阈值2的像素点会被认为是边缘；

 void convexHull(InputArray points, OutputArray hull, bool clockwise = false, bool returnPoints = true)
//第一个参数，InputArray类型的Points，输入的二维点集，可以填Mat类型或者std::vector
//第二个参数，OutputArray类型的Hull，输出参数，函数调用后找到的凸包
//第三个参数，bool类型的clockwise，操作方向标识符。当此标志符为真时，输出的凸包为顺时针方向，否则就为逆时针方向。并且是假定坐标系的x轴指向右，y轴指向上方

void findContours(InputOutArray image,OutputArrayOfArrays contours,outputArray hierarchy,int method,Point offset = Point())
//第一个参数，InputArray类型的image，输入图像，即源图像，填Mat类对象即可，且需为8位单通道图像
//第二个参数，OutputArrayOfArrays类型的contours，检测到的轮廓、函数调用后的运算结果存在这里。每一个轮廓存储为一个点向量，即用point类型的vector表示
//第三个参数，outputArray类型的hierarchy，可选的输出量，包含图像的拓扑信息
//第四个参数，int类型的mode，轮廓检索模式，取值有RETR_EXTERNAL、RETR_LIST、RETR_CCOMP、RETR_TREE
//第五个参数，int类型的method，为轮廓的近似办法，取值有CHAIN_APPROX_NONE、CHAIN_APPROX_SIMPLE、CHAIN_APPROX_TC89_L1、CHAIN_APPROX_TC89_KCOS


void drawContours(InputOutputArray image,InputArrayOfArrays contours,int contourIdx,const Scalar& color,int thickness = 1,int lineType = 8,inputArray hierarchy = noArray(),int maxLevel = INT_MAX,Point offset = Point())
//第一个参数，InputArray类型的image，输入图像，即源图像，填Mat类对象即可
//第二个参数，OutputArrayOfArrays类型的contours，所有的输入轮廓。每一个轮廓存储为一个点向量，即用point类型的vector表示
//第三个参数，int类型的contourIdx,轮廓绘制的指示变量。如果其为负值，则绘制所有轮廓
//第四个参数，constScalar&类型的color，轮廓的颜色
//第五个参数，int thickness，轮廓线条的粗细，有默认值1
//第六个参数，int类型的lineType，线条的类型，有默认值8
//第七个参数，InputArray类型的hierarchy，可选的层次结构信息，有默认值noArray()
//第八个参数，int类型的maxLevel，表示用于绘制轮廓的最大等级，有默认值INT_MAX

基本思路：

1. 图像的预处理

2. 边缘检测Canny提取轮廓，dilate膨算法（不使用可能导致有些轮廓无法闭合）

3. 找到轮廓中面积最大的轮廓

4. 然后得到轮廓的Rect,再从原图中提取出来（对于不是正放的轮廓可以用透视校正，透视变换来提取）

    Mat inputMat = new Mat(inputTexture.height, inputTexture.width, CvType.CV_8UC3);
    Mat outputMat = new Mat(inputTexture.height, inputTexture.width, CvType.CV_8UC3);
    Utils.texture2DToMat(inputTexture, inputMat);
   
    //灰度化
    Imgproc.cvtColor(inputMat, outputMat, Imgproc.COLOR_BGR2GRAY);
    //图片高斯模糊处理
    Imgproc.GaussianBlur(outputMat, outputMat, new Size(5, 5), 0);
    //图片二值化处理
    Imgproc.threshold(outputMat, outputMat, 20, 255, Imgproc.THRESH_BINARY);
   

然后开始对图片进行边缘检测，OpenCV中，和边缘检测相关的算子有索贝尔，拉普拉斯滤波，Canny，Scharr等，这里使用的是Canny算子。

    //边缘检测
    Imgproc.Canny(outputMat, outputMat, 50, 100);
    //膨胀算法(尽量使边缘闭合)
    int ksize = 7;
    Mat kernel = new Mat(ksize, ksize, CvType.CV_32F);
    Imgproc.dilate(outputMat, outputMat, kernel);

处理图像之后会得到这种线框图

现在就要开始对图片的轮廓做处理了

	//寻找轮廓，并找出轮廓中面积最大的（我要提取的是A4纸，基本就是图像中最大的一个闭合轮廓）
    Imgproc.findContours(outputMat, srcCorners, srcHierarchy, Imgproc.RETR_CCOMP, Imgproc.CHAIN_APPROX_NONE);
    for (int i = 0; i < srcCorners.Count; i++)
    {
        var currentArea = Imgproc.contourArea(srcCorners[i]);
        if (currentArea > maxArea)
        {
            maxArea = currentArea;
            index = i;
        }
    }
    然后可以将轮廓画出来，看看是不是正确的
    Imgproc.drawContours(inputMat, srcCorners, index, new Scalar(255, 0, 0), 2, 8, srcHierarchy, 0, new Point());

最后就要开始把这个轮廓提取出来了，开始找了很多资料，要用到透视校正，透视变换，然而当我做到这里的时候

    //获得轮廓的凸包
    //MatOfInt hull = new MatOfInt();
    //List<Point> points = new List<Point>();
    //Imgproc.convexHull(srcCorners[index], hull, false);

本来应该提取凸包后 hull.toList().Count这个应该是我要的矩形框的4个点，但是实际情况这个数值远大于4，得不到矩形框的4个角点就无法进行之后的矩阵变换等操作，希望有了解的老铁可以给我点提示，然后相互交流交流。

于是乎在我的不懈努力下找到另外一种方式，就是通过轮廓拟合，然后得到轮廓的Rect(及轮廓在原图中的Rect)来实现

    MatOfPoint2f approx = new MatOfPoint2f();
    MatOfPoint2f mp2f = new MatOfPoint2f(srcCorners[index].toArray());
    double prei = Imgproc.arcLength(mp2f, true);//计算轮廓的周长
    Imgproc.approxPolyDP(mp2f, approx, prei * 0.04, true);//对图像轮廓点进行多边形拟合
    print(approx.toArray().Length);

    OpenCVForUnity.CoreModule.Rect rect = Imgproc.boundingRect(srcCorners[index]);

最后输出提取的图基本就是我想得到的效果

	 Mat finalMat = new Mat(inputMat, rect);
    Texture2D tmpTex = new Texture2D(finalMat.width(), finalMat.height(), TextureFormat.RGBA32, false);
    Utils.matToTexture2D(finalMat, tmpTex);
    rawImage.texture = tmpTex;

这次取巧实现了功能，还有很多可以完善的地方，后续会整理一下透视校正，透视变换，把功能更改进一点。