答题卡识别增强项目

 

 

代码地址：https://github.com/SimonLliu/SheetIdentification

请觉得有帮助的同学给小星星

一、项目背景

1、项目来源

一家在线教育公司的实际需求

2、项目需求

将一张答题纸（包括字和图像）的答题区域提取出来，效果增强（去除阴影）

 

3、项目要求

1) 四角定位、扭曲矫正

用相应设备扫描的答题卡，由于拍摄角度的原因，可能出现页面扭曲的问题，需要程序识别、四角定位，还原为长方形（长宽比需与原纸张一致）。

2) 效果增强

需做到色彩增强和阴影去除

二、技术路线

1、开发环境

1) 实验环境

平台：Anaconda,

语言：Python 3.6.2

所需的支持模块：opencv 3.4.2，matplotlib 2.0.2，imutils 0.5.1，numpy 1.15.1

2)   实现环境

平台：visualstudio 2017

语言：C++

所需的库：opencv3.4.2

2、解决方案

1）四角定位

 

将原图转为灰度图，经过上图处理后，提取出轮廓edged，计算轮廓面积，

若面积大于2000000，跳出循环，四角定位后得到图片；

若面积小于2000000，更改均值滤波为33，重复相应步骤；

若count=1且面积小于2000000后（即两个均值滤波参数均无法找到轮廓），采用均值漂移（模糊背景）对原图片进行处理，重复全部过程，最多均值滤波8次。

2）扭曲矫正

 

将得到的四个角点按照相应顺序与原图像的四个角点生成映射，通过映射从原图像中得到结果。

 

3）阴影去除、图像增强

 

对图像进行两步操作，一步是将图像通过局部二值化sauvola算法转为二值化图片（黑白相反），一步是通过直方图均衡将原图像色彩增强，最后对二值化找出的背景像素在直方图均衡后的图片中置为白色。

 

三、项目成果

1、结果

 

2、 完成情况

1）四角定位准确率超过90%，基本达到要求；

2）能较为有效的对阴影进行去除，基本达到要求；

3）能对图像和文字进行加强，基本达到要求。

3、成果

1）C++完成的全项目cpp文件；

2）Python完成的四角定位ipynb文件。

4、展示

 

四、总结

       最初拿到项目时，根据文件夹里的技术路线和网上的一些类似工程，对图片进行了处理，但结果较差，识别准确率约为65%。后来将高斯滤波改为中值滤波，对中值滤波的参数进行调节（大量时间），有一定提升，识别准确率约为65%。再采用形态学变化（腐蚀和膨胀），分别对图像进行处理，发现二值均会对不同的图像能否识别出来产生影响，再进一步观察二者的结果，发现膨胀比腐蚀的准确率高一些（约为75%），但腐蚀对于在黄色桌子上拍摄的答题卡识别准确率较好，于是截了右下角一个50*50像素的小方格，用svm判断是否为黄色，若为黄色则腐蚀，否则膨胀，此时识别准确率大于80%。此时四角定位陷入瓶颈，在大量讨论后，采用均值滤波对图像进行调整，但单一参数的均值滤波果不明显，对均值滤波采用自适应调参后，图像准确率达到85%，此时陷入瓶颈。将自适应调参的思想引入中值滤波参数调参，同时使用43和33两个参数，结果一度达到93%，但考虑到时间问题，降低一倍均值滤波参数，准确率为90.2%。

       对于图像增强的部分，最初由于阴影的原因使得二值化参数无法确定，若设的太大会增强阴影，若设的太小会一定程度消除前景。跟同学交流后，由于严同学提供的思路较难在C++上实现，于是在网上查阅相关资料，实验了分水岭算法，同态滤波，颜色迁移，sauvola局部二值化。分水岭算法对于背景置白效果较好，但消除过多前景（文字模糊不清），可能较为适合较大物体；同态滤波使得阴影被加强，并没有起到效果；颜色迁移使得肉眼看不到阴影，但二值化后，阴影未产生变化；局部二值化能较好的达到去除阴影的效果，需要对参数k进行调节（k越大，前景越少；k越小，背景阅读，易出现阴影）。

五、相关文件、链接

分水岭

https://blog.csdn.net/u010741471/article/details/45193521

同态滤波

https://blog.csdn.net/liujiabin076/article/details/53366678

颜色迁移

https://www.cnblogs.com/xlturing/p/3463813.html

sauvola局部二值化代码

https://github.com/BelievingHeart/Github-repository