一个高铁线杆杆号自动识别分类系统

        最近经朋友介绍，做了一个高铁路边上杆号自动识别的项目，项目自我感觉难度非常大，因为有大量的特殊场景，涉及到图像二值化、分割、识别问题也非常多。项目时间又很紧，成功交付以后感触颇多，再想想这么多年网上查资料的多，共享的少，所以想通过这篇文章把整个项目的解决思路和大家共享一下。

        说实话，目前网上与模式识别相关的文章，大部分都只是些知识点的介绍，或者用例的简单介绍，而所谓项目就是客户提供了一系列的照片，由你自己分析特征、尝试提取、根据结果调整算法，最终生成的可执行程序提供给客户，而且这个结果如果很粗糙或者错误率很高，客户根本是不会接受的。写这篇文章的目的就是和大家共享下这个过程，特别很多刚接触这块的，如何把图像处理、模式识别书中孤立的知识点组合起来，达到最佳效果，从而解决实际问题的。

         这个项目大的方面是高铁6C项目的一个子模块。给我们的具体要求就是客户会有很多组照片，每组照片是一台相机同步高速拍摄，在实际客运列车运行中进行，时速300/250/200，相机有海量的存储器，整个过程拍摄下来后，一组内就有超过2万张照片，这样靠人工分类的工作量非常大，所以需要将每张照片中线杆的杆号能够自动识别出来从而实现将海量照片以杆子的编号进行分类。限于篇幅，这篇文章里面主要介绍线杆的提取部分，其他部分以后再陆续介绍。

         接下来结合实际图，谈谈整个项目过程吧。有个比较有意思的事可以说下，在项目最初洽谈阶段，对方提供了一个小图集给我们。并且还告知我们以前有个另外公司的软件做相同的事情，但是识别率很低，基本上不能接受。我们看了样图之后，认为可以做这个项目。虽然以前也做过不少的工程项目，知道最后要实际应用的图集和样图肯定有偏差，但是当最后拿到实际数据后，复杂程度还是有些比较出乎我们意料的。

                         一个高铁线杆例图

为了保护用户数据，我们找了一张类似的样图。整个图片本身是非常清晰的。杆子由近到远排列，在每个杆子的下面刷有杆号，基本上由数字组成，少量会前面有包含英文字母。因为是海量数据，为了节省存储空间，所以最后图像全部是灰度图像，相比彩色图片而言，这给识别也增加了一定的难度，因为彩色图片会有更多的特征可以提取。

针对样图，我们制定主要思路如下：

1.      对输入图像进行预处理，包括降噪（如果有必要的话），二值化等。

2.      找出线杆，继而分割出文字区域。

3.      对文字区域的数字及字母进行识别。

4.      根据杆子的顺序规律，可以进一步优化结果，以提高整体精确度

5.      输出最终识别结果。

 步骤4只是结果的优化，本文主要谈下实际项目中模式识别的解决思路，这个不再具体介绍。中间输出的结果分别是先合适的线杆，因为图像里面有多个线杆，需要找到最靠近的字迹、最清晰的那个线杆，然后在线杆内找到白底+中间文字那部分，所以有2个中间结果至关重要，线杆和文字区域。

        如果对于上面例图，估计对有经验的来说，都不是什么大问题，先二值化一把，微调下二值化的参数，一般就能得到理想的结果，即杆子是黑色的而背景大部分是白色的，这样能把杆子分割出来。然后的处理，只需要竖直投影法投影一下就行了，找到图像中最宽同时也是最高的柱子，就可以得到所需要的线杆。在得到线杆部分后，像这张图文字区域是白色包围文字区域，整个柱子的颜色灰度值也比较大，所以再次应用二值化还可以轻松将整个线杆中文字的区域置分割出来，然后进行文字识别就行了。在拿到实际大量数据之前，我们也写了一个简单的程序，并且测试了样图，证明我们的思路基本上是可行的。

       大家其实也知道了，最终的图集肯定不可能这么轻松，会有大量的工作，否则之前尝试的那家公司最终怎么会只有3成的准确率，但说实话当拿到测试图集时还是吓了我一大跳，因为真实的图集效果和给的样图确实差距还是非常大的，下面我罗列些典型的恶劣情况给大家看下：