Android智能识别 - 银行卡区域裁剪

在真正开始看这篇文章之前，希望我们能先去了解一下这篇文章《NDK开发前奏 - 实现支付宝人脸识别功能》，此篇文章阅读起来可能会有些许难度，因此我们只要能看懂 c/c++ 语法，能跟上我分析问题的思路就可以了。后面我们会讲一些算法，会去介绍 opencv 的常用函数。当然我们学习 Ndk 主要还是为我们的 Android 来服务的，以便我们能读懂 android 底层源码，能做一些 Ndk 项目开发。

今天下班回家特意试了一下支付宝，用支付宝扫描了一下我的银行卡效果不是很佳，当然我相信大多数情况下是正常的。我这么讲只是想说明智能识别本就用一定的局限性，并不是 100% 非常正确。下面是支付宝的识别效果，上个图 （少了一位，错了两位）：

像身份证、银行卡和人脸识别这些，一般网上都有技术支持的（部分需要付费），我们能不自己折腾的尽量不要自己折腾，但了解其原理，知道修改其源码还是有必要的。接下来我们来分析一下，且看我下面这两张银行卡，卡是真不少就是没钱。

我们想要去识别银行卡其实思路也不难，只要找到他们的共性和特色就可以了。且看我下面画的这张图：

有几个特征，最外层是银行卡区域，左上角一般是 logo 和银行名称标识，右下角是银联区域，中间是我们要识别的卡号区域。有了这几个特征我们就有了思路了：
1. 筛选过滤截取银行卡区域；
2. 根据标识筛选截取银行卡号区域；
3. 二值分析与特征提取；
4. 数字分割识别显示。

1.筛选过滤截取银行卡区域

opencv 操作的是 mat 类型，我们拍照获取的是 Bitmap 类型，后面我们会获取每一帧进行处理，原理和套路都是一致的，由易到难，先来简单点的。所以第一个要写的方法就是 Bitmap 和 Mat 相互转换：

void MatBitmapUtil::bitmap2mat(JNIEnv *env, Mat &mat, jobject &bitmap) {
    // 锁定画布 获取首地址像素
    void* pixels = 0;
    AndroidBitmap_lockPixels(env,bitmap,&pixels);

    // 获取信息判断格式
    AndroidBitmapInfo *bitmapInfo = new AndroidBitmapInfo();
    AndroidBitmap_getInfo(env,bitmap,bitmapInfo);
    mat.create(bitmapInfo->height,bitmapInfo->width,CV_8UC4);

    if(bitmapInfo->format == ANDROID_BITMAP_FORMAT_RGBA_8888){
        // argb
        Mat temp(bitmapInfo->height,bitmapInfo->width,CV_8UC4,pixels);
        temp.copyTo(mat);
    } else if(bitmapInfo->format == ANDROID_BITMAP_FORMAT_RGB_565){
        // rgb
        Mat temp(bitmapInfo->height,bitmapInfo->width,CV_8UC2,pixels);
        temp.copyTo(mat,COLOR_BGR5652BGRA);
    }
    // 其他要自己去转

    // 解锁画布
    AndroidBitmap_unlockPixels(env,bitmap);
    delete(bitmapInfo);
}


void MatBitmapUtil::mat2Bitmap(JNIEnv *env, Mat &mat, jobject &bitmap) {
    // 1. 获取 bitmap 信息
    AndroidBitmapInfo info;
    void* pixels;
    AndroidBitmap_getInfo(env,bitmap,&info);

    // 锁定 Bitmap 画布
    AndroidBitmap_lockPixels(env,bitmap,&pixels);

    if(info.format == ANDROID_BITMAP_FORMAT_RGBA_8888){// C4
        Mat temp(info.height,info.width,CV_8UC4,pixels);
        if(mat.type() == CV_8UC4){
            mat.copyTo(temp);
        }
        else if(mat.type() == CV_8UC2){
            cvtColor(mat,temp,COLOR_BGR5652BGRA);
        }
        else if(mat.type() == CV_8UC1){// 灰度 mat
            cvtColor(mat,temp,COLOR_GRAY2BGRA);
        }
    } else if(info.format == ANDROID_BITMAP_FORMAT_RGB_565){// C2
        Mat temp(info.height,info.width,CV_8UC2,pixels);
        if(mat.type() == CV_8UC4){
            cvtColor(mat,temp,COLOR_BGRA2BGR565);
        }
        else if(mat.type() == CV_8UC2){
            mat.copyTo(temp);
        }
        else if(mat.type() == CV_8UC1){// 灰度 mat
            cvtColor(mat,temp,COLOR_GRAY2BGR565);
        }
    }
    // 其他要自己去转

    // 解锁 Bitmap 画布
    AndroidBitmap_unlockPixels(env,bitmap);
}

Bitmap 转 Mat 之后我们就可以用 opencv 去操作了，我们第一步是要找到银行卡区域，然后进行截取保存。所以我们首先需要对轮廓进行梯度增强，然后对图片进行二值化轮廓查找，筛选出最符合的区域。

Rect co1::find_card_area(const Mat &mat) {
    // 首先降噪
    Mat blur;
    GaussianBlur(mat, blur, Size(5, 5), BORDER_DEFAULT, BORDER_DEFAULT);

    // 梯度增强 , x 轴和 y 轴
    Mat grad_x, grad_y;
    Scharr(blur, grad_x, CV_32F, 1, 0);
    Scharr(blur, grad_y, CV_32F, 0, 1);
    Mat grad_abs_x, grad_abs_y;
    convertScaleAbs(grad_x, grad_abs_x);
    convertScaleAbs(grad_y, grad_abs_y);
    Mat grad;
    addWeighted(grad_abs_x, 0.5, grad_abs_y, 0.5, 0, grad);

    imwrite("/storage/emulated/0/ocr/grad_n.jpg",grad);

    // 二值化，进行轮廓查找
    Mat gray;
    cvtColor(grad, gray, COLOR_BGRA2GRAY);
    Mat binary;
    threshold(gray, binary, 40, 255, THRESH_BINARY);

    imwrite("/storage/emulated/0/ocr/binary_n.jpg",binary);

    // 轮廓查找
    vector<vector<Point> > contours;
    findContours(binary, contours, RETR_EXTERNAL, CHAIN_APPROX_SIMPLE);
    Rect card_rect;
    for (int i = 0; i < contours.size(); ++i) {
        Rect rect = boundingRect(contours[i]);
        // 是不是符合规则
        if (rect.width > mat.cols / 2 && rect.width != mat.cols && rect.height > mat.rows / 2) {
            card_rect = rect;
            break;
        }
    }
    // release source
    blur.release();
    grad_x.release();
    grad_y.release();
    grad_abs_x.release();
    grad_abs_y.release();
    grad.release();
    gray.release();
    binary.release();
    // return card rect
    return card_rect;
}

2. 根据标识筛选截取银行卡号区域

截取到银行卡区域后，我们就可以根据我们的银行卡标识，去筛选截取我们的卡号区域。

JNIEXPORT jint JNICALL
Java_com_darren_ndk_day05_FaceDetection_bankOcr(JNIEnv *env, jobject instance,
                                                              jobject bitmap) {
    // Bitmap 转成 opencv 能操作的 C++ 对象 Mat , Mat 是一个矩阵
    Mat mat;
    MatBitmapUtil::bitmap2mat(env, mat, bitmap);
    // 1.筛选过滤截取银行卡区域
    Rect card_rect = co1::find_card_area(mat);
    Mat card_mat(mat,card_rect);
    //  2. 根据标识筛选截取银行卡号区域；
    Rect card_number_rect = co1::find_card_number_area(mat);
    Mat card_number_mat(card_mat,card_number_mat);
    //  3. 写入文件看一看
    imwrite("/storage/emulated/0/ocr/card_number.jpg",card_mat);
    LOGE("处理完毕");
    return 0;
}

这其实才刚刚开始，假设光线不强呢？很多银行卡没有银联的标识，又或者某些银行卡的干扰太多。后面的文章我们将陆续去完善，直到可以获取相机的每一帧进行处理。

视频链接：https://pan.baidu.com/s/10IvWru9d6yhFkNNY7z18Vw
视频密码：0n67