第47章 QR-Decoder-OV5640二维码识别
全套200集视频教程和1000页PDF教程请到秉火论坛下载:www.firebbs.cn
野火视频教程优酷观看网址:http://i.youku.com/firege
本章参考资料:《STM32F4xx 中文参考手册》、《STM32F4xx规格书》、库帮助文档《stm32f4xx_dsp_stdperiph_lib_um.chm》。
关于开发板配套的OV5640摄像头参数可查阅《ov5640datasheet》配套资料获知。
STM32F4芯片具有浮点运算单元,适合对图像信息使用DSP进行基本的图像处理,其处理速度比传统的8、16位机快得多,而且它还具有与摄像头通讯的专用DCMI接口,所以使用它驱动摄像头采集图像信息并进行基本的加工处理非常适合。本章讲解如何使用二维码识别库进行二维码的识别。
47.1 二维码简介
二维码,又称二维条码或二维条形码,二维条码是用某种特定的几何图形按一定规律在平面(二维方向上)分布的黑白相间的图形记录数据符号信息的;在代码编制上巧妙地利用构成计算机内部逻辑基础的"0"、"1"比特流的概念,使用若干个与二进制相对应的几何形体来表示文字数值信息,通过图象输入设备或光电扫描设备自动识读以实现信息自动处理:它具有条码技术的一些共性:每种码制有其特定的字符集;每个字符占有一定的宽度;具有一定的校验功能等。同时还具有对不同行的信息自动识别功能、及处理图形旋转变化等特点。二维条码/二维码能够在横向和纵向两个方位同时表达信息,因此能在很小的面积内表达大量的信息。
47.2 二维条形码类型
47.2.1 矩阵式二维条码
矩阵式二维条码(2D MATRIX BAR CODE)又称:棋盘式二维条码。有代表性的矩阵式二维条码有:QR Code 、Data Matrix、Maxi Code、Code one 等,目前最流行的是QR CODE。见图 471。
图 471 矩阵式二维码
47.2.2 行排列式二维条码
行排列式二维条码(2D STACKED BAR CODE)又称:堆积式二维条码或层排式二维条码,其编码原理是建立在一维条码基础之上,按需要堆积成二行或多行。有代表性的行排式二维条码有:PDF417、CODE49、CODE 16K等。见图 472。
图 472 行排列式二维条码
47.3 二维条形码的优点
1. 可靠性强,条形码的读取准确率远远超过人工记录,平均每15000个字符才会出现一个错误。
2. 效率高,条形码的读取速度很快,相当于每秒40个字符。
3. 成本低,与其它自动化识别技术相比较,条形码技术仅仅需要一小张贴纸和相对构造简单的光学扫描仪,成本相当低廉。
4. 易于制作,条形码制作:条形码的编写很简单,制作也仅仅需要印刷,被称作为"可印刷的计算机语言"。
5. 构造简单,条形码识别设备的构造简单,使用方便。
6. 灵活实用,条形码符号可以手工键盘输入,也可以和有关设备组成识别系统实现自动化识别,还可和其他控制设备联系起来实现整个系统的自动化管理。
7. 高密度,二维条码通过利用垂直方向的堆积来提高条码的信息密度,而且采用高密度图形表示,因此不需事先建立数据库,真正实现了用条码对信息的直接描述。
8. 纠错功能,二维条形码不仅能防止错误,而且能纠正错误,即使条形码部分损坏,也能将正确的信息还原出来。
9. 多语言形式、可表示图像,二维条码具有字节表示模式,即提供了一种表示字节流的机制。不论何种语言文字它们在计算机中存储时以机内码的形式表现,而内部码都是字节码,可识别多种语言文字的条码。
10. 具有加密机制,可以先用一定的加密算法将信息加密,再用二维条码表示。在识别二维条码时,再加以一定的解密算法,便可以恢复所表示的信息。
47.4 QR二维码的编码及识别
47.4.1 QR码基本结构
QR码基本结构,见图 473。
1. 位置探测图形、位置探测图形分隔符、定位图形:用于对二维码的定位,对每个QR码来说,位置都是固定存在的,只是大小规格会有所差异。
2. 校正图形:规格确定,校正图形的数量和位置也就确定了。
3. 格式信息:表示改二维码的纠错级别,分为L、M、Q、H。
4. 版本信息:即二维码的规格,QR码符号共有40种规格的矩阵(一般为黑白色),从21x21(版本1),到177x177(版本40),每一版本符号比前一版本 每边增加4个模块。
5. 数据和纠错码字:实际保存的二维码信息,和纠错码字(用于修正二维码损坏带来的错误)。
图 473 QR码基本结构
47.4.2 QR码编码过程
1. 数据分析:确定编码的字符类型,按相应的字符集转换成符号字符; 选择纠错等级,在规格一定的条件下,纠错等级越高其真实数据的容量越小。
2. 数据编码:将数据字符转换为位流,每8位一个码字,整体构成一个数据的码字序列。其实知道这个数据码字序列就知道了二维码的数据内容。见表 471和表 472。
表 471 QR码数据容量
QR码数据容量 |
|
数字 |
最多7,089字符 |
字母 |
最多4,296字符 |
二进制数(8 bit) |
最多2,593字节 |
日本汉字/片假名 |
最多1,817字符(采用Shift JIS) |
中文汉字 |
最多984字符(采用UTF-8) |
中文汉字 |
最多1,800字符(采用BIG5) |
表 472 QR数据模式指示符
模式 |
指示符 |
ECI |
0111 |
数字 |
0001 |
字母数字 |
0010 |
8位字节 |
0100 |
日本汉字 |
1000 |
中国汉字 |
1101 |
结构链接 |
0011 |
FNC1 |
0101(第一位置) 1001(第二位置) |
终止符(信息结尾) |
0000 |
3. 编码过程:数据可以按照一种模式进行编码,以便进行更高效的解码,例如:对数据:01234567编码(版本1-H)。
a) 分组:012 345 67
b) 转成二进制:
012 → 0000001100
345 → 0101011001
67 → 1000011
c) 转成序列:0000001100 0101011001 1000011
d) 字符数转成二进制:8 → 0000001000
e) 加入模式指示符:
0001:0001 0000001000 0000001100 0101011001 1000011
对于字母、中文、日文等只是分组的方式、模式等内容有所区别。基本方法是一致的。
4. 纠错编码:按需要将上面的码字序列分块,并根据纠错等级和分块的码字,产生纠错码字,并把纠错码字加入到数据码字序列后面,成为一个新的序列。
错误修正容量, L水平有7%的字码可被修正; M水平有15%的字码可被修正;Q水平有25%的字码可被修正;H水平有30%的字码可被修正。
二维码规格和纠错等级确定的情况下,其实它所能容纳的码字总数和纠错码字数也就确定了,比如:版本10,纠错等级时H时,总共能容纳346个码字,其中224个纠错码字。
就是说二维码区域中大约1/3的码字时冗余的。对于这224个纠错码字,它能够纠正112个替代错误(如黑白颠倒)或者224个据读错误(无法读到或者无法译码),这样纠错容量为:112/346=32.4%。
5. 构造最终数据信息:在规格确定的条件下,将上面产生的序列按次序放如分块中,按规定把数据分块,然后对每一块进行计算,得出相应的纠错码字区块,把纠错码字区块按顺序构成一个序列,添加到原先的数据码字序列后面。
例如:D1, D12, D23, D35, D2, D13, D24, D36, ... D11, D22, D33, D45, D34, D46, E1, E23,E45, E67, E2, E24, E46, E68,...
6. 构造矩阵:将探测图形、分隔符、定位图形、校正图形和码字模块放入矩阵中。把上面的完整序列填充到相应规格的二维码矩阵的区域中,见图 474 构造矩阵。
图 474 构造矩阵
7. 掩摸:将掩摸图形用于符号的编码区域,使得二维码图形中的深色和浅色(黑色和白色)区域能够比率最优的分布。见图 474 构造矩阵。
8. 格式和版本信息:生成格式和版本信息放入相应区域内。版本7-40都包含了版本信息,没有版本信息的全为0。二维码上两个位置包含了版本信息,它们是冗余的。版本信息共18位,6X3的矩阵,其中6位是数据位,如版本号8,数据位的信息时 001000,后面的12位是纠错位。
47.4.3 QR码识别过程
通过图像的采集设备(激光扫描器、面阵CCD、数码相机等成像设备),我们得到含有条码的图像,此后主要经过条码定位(预处理,定位,角度纠正和特征值提取)、分割和解码三个步骤实现条码的识别。
1. 条码的定位就是找到条码符号的图像区域,对有明显条码特征的区域进行定位。然后根据不同条码的定位图形结构特征对不同的条码符号进行下一步的处理。
2. 实现条码的定位,采用以下步骤:
a) 利用点运算的阈值理论将采集到的图象变为二值图像, 即对图像进行二值化处理;
b) 得到二值化图像后,对其进行膨胀运算;
c) 对膨胀后的图象进行边缘检测得到条码区域的轮廓;
下图 475是经过上述处理后得到的一系列图像。
图 475 图像处理
3. 对图像进行二值化处理,按下式进行
其中,f(x,y)是点(x,y)处像素的灰度值,T为阈值(自适应门限)。找到条码区域后,我们还要进一步区分到底是哪种矩阵式条码。下面图形是几种常见的矩阵式条码:
a) 位于左上角、左下角、右上角的三个定位图形
b) 位于符号中央的三个等间距同心圆环(或称公牛眼定位图形)
c) 位于左边和下边的两条垂直的实线段
图 476 图像处理
4. 条码的分割
边缘检测后条码区域的边界不是很完整,所以需要进一步的修正边界,然后分割出一个完整的条码区域。首先采用区域增长的方法对符号进行分割,以此修正条码边界。其基本思想是从符号内的一个小区域(种子)开始,通过区域增长来修正条码边界,把符号内的所有点都包括在这个边界内。然后通过凸壳计算准确分割出整个符号。之后区域增长和凸壳计算交替进行,通常对那些密度比较大的条码重复两次就足够了,而对于那些模块组合比较稀疏的条码至少要重复四次。
5. 译码
得到一幅标准的条码图像后,对该符号进行网格采样,对网格每一个交点上的图像像素取样,并根据阈值确定是深色块还是浅色块。构造一个位图,用二进制的"1"表示深色像素, "0"表示浅色像素,从而得到条码的原始二进制序列值,然后对这些数据进行纠错和译码,最后根据条码的逻辑编码规则把这些原始的数据位流转换成数据码字,即将码字图像符号换成ASCII码字符串。
47.5 QR-Decoder-OV564摄像头实验
本小节讲解如何使用QR-Code库在DCMI—OV5640摄像头实验基础上进行二维码解码的过程,建议学习之前先把DCMI—OV5640摄像头实验弄明白。
学习本小节内容时,请打开配套的"QR-Decoder-OV5640"工程配合阅读。由于硬件设计方面跟DCMI—OV5640摄像头实验的是一样的,这里不再重复。下面直接介绍如何使用QR-Code库进行二维码识别。OV5640识别二维码的过程包括以下几个重要部分:图像采集,液晶驱动,图像处理,数据解码,串口打印输出结果。见图 477。
图 477 OV5640识别二维码过程
47.5.1 QR-Code解码库特点
QR-Code解码库是秉火专门针对STM32F429移植的一个的条码解码库,因为其结构复杂,移植过程繁琐,所以打包为一个解码库,提供接口方便用户直接调用,提高开发的效率。其主要特点如下:
条码种类: 支持常用QR-Code、EAN、UPC
扫描速度: 400 毫秒
扫描英文: 250 个字符
扫描中文: 90中文字符,UTF-8编码格式(需上位机支持)
多码扫描: 支持多个二维码同时解码,同时输出结果
47.5.2 软件设计
1. 编程要点
根据OV5640识别二维码的过程,软件设计可以根据以下几个模块分别进行:
(1) 图像采集,通过STM32F429的DCMI接口驱动OV5640,采集适合液晶屏分辨率的图像。OV5640支持自动对焦功能,因此很容易采集到高清度的图像。
(2) 液晶驱动,通过STM32F429的LTDC接口驱动液晶屏,使用外部SDRAM作为液晶屏的显存,通过DMA2D来刷屏;同时LTDC支持双层叠加显示,可以在液晶屏上实现半透明的扫描窗并且支持绘制扫描线的动画效果。
(3) 图像处理,使用外部SDRAM作为缓存为图像处理提供足够的空间,通过调用QR-Code解码库的get_image函数获取一帧图像。通过图像处理将图像的数据流转变为一个二进制的码流再进行数据解码。
(4) 数据解码,直接通过QR_decoder函数来解码。返回值为解码的条码个数。并将解码结果保存到decoded_buf的二维数组当中。
(5) 串口发送,根据解码结果的个数及decoded_buf二维数组的数据,通过串口发送到电脑上位机。
2. 代码分析
QR-Code解码库相关宏定义
我们把QR-Code解码库相关的配置都以宏的形式定义到"qr_decoder_user.h"文件中,其中包括数据缓冲基地址、扫描窗大小、扫描框线条大小、解码结果二维数组、扫描二维码的函数,见代码清单 242。
代码清单 471 QR-Code解码库配置相关的宏
1 #ifndef __QR_DECODER_USER_H
2 #define __QR_DECODER_USER_H
3
4 #include "qr_decoder.h"
5 #include <stdio.h>
6
7 // 开辟SDRAM的3M字节作为数据缓存,这里使用显存以外的空间,
8 // 0xD0800000-0x300000 = 0xD0500000
9 #define QR_FRAME_BUFFER ((uint32_t)0xD0500000)
10
11 /*扫描窗口参数*/
12 #define Frame_width ((uint16_t)320)//扫描窗口边长(正方形)
13
14 /*扫描框线条参数*/
15 #define Frame_line_length ((uint16_t)30) //扫描框线条长度
16 #define Frame_line_size ((uint16_t)3) //扫描框线条宽度
17
18 #define QR_SYMBOL_NUM 5 //识别二维码的最大个数
19 #define QR_SYMBOL_SIZE 512 //每组二维码的的最大容量
20
21 //解码数据封装为二维数组decoded_buf,格式为:
22 // (第一组:解码类型长度(8bit)+解码类型名称+解码数据长度(16bit,高位在前低位在后)+ 解码数据)
23
24 // (第二组:解码类型长度(8bit)+解码类型名称+解码数据长度(16bit,高位在前低位在后)+ 解码数据)
25
26 // 。。。
27 //以此类推
28 extern char decoded_buf[QR_SYMBOL_NUM][QR_SYMBOL_SIZE];
29
30 //解码函数,返回值为识别条码的个数
31 char QR_decoder(void);
32
33 //获取一帧图像
34 void get_image(uint32_t src_addr,uint16_t img_width,uint16_t img_height);
35
36 #endif /* __QR_DECODER_USER_H */
以上代码首先定义一个3M字节的空间用作解码库的数据的缓冲,只需要定义SDRAM的空闲空间的基地址;然后定义扫描二维码的窗口及框体大小,范围由100~480(图像不能太小,否则图像很难识别);定义decoded_buf[QR_SYMBOL_NUM][QR_SYMBOL_SIZE]二维数组存放解码的结果,存放解码的最大个数由QR_SYMBOL_NUM决定,存放解码的最大数据量由QR_SYMBOL_SIZE决定,没有特殊要求就不需要做变动;存放数据的格式介绍如下表 473。
表 473 二维数组数据格式
数组 |
十六进制 |
字符 |
含义 |
decoded_buf[0][0] |
0x07 |
第一组解码类型名字的长度 |
|
decoded_buf[0][1] |
0x51 |
Q |
第一组解码类型名字:QR-Code |
decoded_buf[0][2] |