基于HALCON的喷码字符自训练与识别

最新推荐文章于 2024-07-25 11:27:31 发布
最新推荐文章于 2024-07-25 11:27:31 发布
阅读量4k 收藏 65
点赞数 11
分类专栏： Halcon 文章标签： 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45485164/article/details/120161837
版权

前言

最近视觉项目需求，建立10个及以上的字符模板库，然后进行生产时，提取出喷码区域与模板进行比对得到对应的分数，以分数的高低来判断喷码的好坏。
如图：喷码样品
在这里插入图片描述
根据需求，可以借鉴Halcon中训练字符的思路来解决此问题。
主要流程：抠图–>训练–>识别

第一步——训练文件建立

首先用户输入检测喷码的字符，在对应位置会自动生成以喷码为名字的文件夹，然后会对应生成单个字符的子文件夹（主要用于存放单个字符图片）。
算法逻辑：

在这里插入图片描述
这里我们来看看具体的Halcon源码（仅供参考）

Code:=['6','2']  //输入需要识别的字符
filenum:=|Code|  //计算字符个数
string:=['']  //初始化字符串用于将客户输入字符连接起来作为文件名
Color:=1    //0表示蓝色1表示红色

gen_rectangle1 (Rectangle, 2817.87,562.239,7395.57, 4431.49)  //绘制的喷码区域ROI，可自己绘制修改
*开始抠图
FilePath:='E:/OCR-test/10模板喷码测试/9815B'   //图像路径
list_files (FilePath, ['files','follow_links'], ImageFiles)
tuple_regexp_select (ImageFiles, ['\\.(tif|tiff|gif|bmp|jpg|jpeg|jp2|png|pcx|pgm|ppm|pbm|xwd|ima|hobj)$','ignore_case'], ImageFiles)
parse_filename (ImageFiles, BaseName, Extension, Directory)
*根据客户输入字符自动生成文件夹名字
for x := 0 to filenum-1 by 1
   string[0]:=string[0]+Code[x]   //将客户输入字符连接起来作为文件名字
endfor
Path:='E:/OCR-test/'+string+'/'    //需要创建的字符文件夹路径

*判断是否有主文件夹，没有则创建主文件夹
file_exists ('E:/OCR-test/'+string, FileExists)   //判断是否存在文件夹，存在FileExists返回1否则返回0
if(FileExists)
else
    make_dir ('E:/OCR-test/'+string)        //在自定路径创建文件夹
endif

*判断是否有字符子文件夹没有就创建子文件夹
for j := 0 to filenum-1 by 1
    file_exists (Path+Code[j], FileNum)
    if (FileNum)
    else
        make_dir (Path+Code[j])
    endif
endfor
stop ()

这里是HALCON内部的实现，可以在手动输入字符自动生成文件夹。

第二步——产品转正

产品的图片的校正，利用仿射变化来将图像进行平移旋转：
通常我们Halcon中计算出的是弧度，这里我们需要了解符号代表的意义**（顺时针方向旋转的是负号，逆时针方向旋转的是正号）**
效果如下：
转正前：
在这里插入图片描述
转正后：
在这里插入图片描述
具体的代码实现：

 	read_image (Image, ImageFiles[Index])
    rgb1_to_gray (Image, GrayImage)
    threshold (GrayImage, Region, 10, 170)
    connection (Region, RegionTemp)
    select_shape_std (RegionTemp, RegionTemp, 'max_area', 70)
 	orientation_region (RegionTemp, Phi)  //计算区域角度
    area_center (RegionTemp, Area, Row, Column)  //计算区域中心坐标与面积
    /*保证产品仅有竖直与横直两种情况*/
    if(Phi<0)
        AimPhi:=rad(-90)
    else
        AimPhi:=rad(90)
    endif
    vector_angle_to_rigid (Row, Column, Phi, Row, Column, AimPhi, HomMat2D) //创建变化矩阵
    affine_trans_image (Image, ImageAffineTrans, HomMat2D, 'constant', 'false')  //进行仿射变化

vector_angle_to_rigid (Row, Column, Phi, Row1, Column1, AimPhi, HomMat2D)
**Row:**变化前原点列坐标（这里是产品的中点）
**Column:**变化前原点行坐标（这里是产品的中点）
**Phi：**变化前的原点角度
**Row1：**变化后原点列坐标
**Column1：**变化后原点行坐标
**AimPhi：**变化的原点角度
**HomMat2D：**生成的旋转+平移矩阵

第三步——字符抠图

现在需要将我们的喷码字符利用图像分割技术将其提取出来
首先将图像通道分割下（这里是彩色图片，黑白图片可以直接进行提取）
此处以蓝色喷码为例：
使用通道相减突出蓝色区域，然后做简单的阈值分割

   sub_image (R, G, ImageTemp, 1, 0)   //彩色图片由于是红色喷码进行通道相减增加对比度
   threshold (ImageTemp, RegionRoi, 14, 255)  //初步选出感兴趣区域
   opening_rectangle1 (RegionRoi, RegionOpen, 5, 5)  //降低干扰
   reduce_domain (ImageTemp, RegionOpen, ImageReduced)  //图像裁剪留下喷码区域
   crop_domain (ImageReduced, ImagePart1)     //图像填充在窗口中显示

如果有的喷码喷印倾斜，需要校正。（原因：因为需要利用形态学将喷码连接为一个图像对象，防止喷码粘连）

   *矫正倾斜喷码
   text_line_slant (ImagePart1, ImagePart1,150,-rad(45),rad(45), SlantAngle)   //自动计算图像斜率         
   hom_mat2d_identity (HomMat2DIdentity)  //建立单位矩阵
   hom_mat2d_slant (HomMat2DIdentity, -SlantAngle, 'x', 0, 0, HomMat2DSlant)  //计算倾斜矫正矩阵
   affine_trans_image (ImagePart1, AffImagePart1, HomMat2DSlant, 'nearest_neighbor', 'true')  //使用倾斜矫正矩阵将倾斜的喷码变化为竖直

倾斜喷码：
在这里插入图片描述
倾斜校正：
在这里插入图片描述
接着，将需要的喷码提取出来进行***归一化操作***（这步很重要！！！）就是将抠取出的喷码图片为一张二值图像（只有黑和白）。

	 threshold (AffImagePart1, RegionRoi, 14, 255)
     opening_rectangle1 (RegionRoi, RegionOpen, 10, 5)     
     dilation_rectangle1 (RegionOpen, RegionTemp, 1, 200)  //竖直膨胀
     dilation_rectangle1 (RegionTemp, RegionTemp, 10, 1)   //横向膨胀
     connection (RegionTemp, RegionTemp)
     intersection (RegionTemp, RegionOpen, RegionInter)
     select_shape (RegionInter, RegionTemp, ['height','area','width'], \
                      'and', [250,3000,90], [500,50000,300])
    count_obj (RegionTemp, Number)
    sort_region (RegionTemp, RegionTemp, 'character', 'true', 'row')  //字符排序
   /*以下代码表示将单个喷码单独截取保存进入对应的子文件夹*/
   for RedIndex := 1 to Number by 1  
   select_obj (RegionTemp, ObjectRegionTemp, RedIndex)     //将排好顺序的喷码按照序号单个处理
   smallest_rectangle2 (ObjectRegionTemp, Row4, Column4, Phi2, Length11, Length21)
   gen_rectangle2 (Rectangle3, Row4, Column4, Phi2, Length11, Length21)
   reduce_domain (AffImagePart1, Rectangle3, ImageReduced1)
   crop_domain (ImageReduced1, ImagePart)
   binary_threshold (ImagePart, RegionCode, 'max_separability', 'light', UsedThreshold1)   //单个字符提取
   opening_rectangle1 (RegionCode, RegionCode, 10, 5)
   get_image_size (ImagePart, Width, Height)  //计算窗口图片大小
   gen_image_const (ImageBk, 'byte', Width, Height)   //创建一个与窗口大小一致的图片
   overpaint_region (ImageBk, ImageBk, 255, 'fill')   //将创建的图片背景喷印为白色
    overpaint_region (ImageBk, RegionCode, 0, 'fill')  //将喷码制定为黑色喷印在背景上
   tuple_rand (1, Rand)     //生成一个随机数
   Index_rand:=int(Rand*1000)   
   write_image (ImageBk, 'jpeg', 0, Path+Code[RedIndex-1]+'/'+Code[RedIndex-1]+'_'+Index_rand)  //保存归一化后的字符模板

第四步——字符训练

字符的图片现在有了，接下来就可以通过简单的二值阈值分割得到字符区域：
字符抠图结果：
在这里插入图片描述
算法逻辑：
在这里插入图片描述
首先我们需要建立一个“字符集文件”字符集文件的格式为“.trf”
创建一个Halcon中定义的一个错误处理来规避重复创建字符集文件，默认下一次的创建会复写字符集。

TrainFile1:=string+'-0-9A-Z.trf'
dev_set_check ('~give_error')  //错误处理起始
delete_file (TrainFile1)       //删除旧版本字符集
dev_set_check ('give_error')

将字符写入字符集：
此处两个for循坏，是实现自动将字符写入对应子文件

for FileIndex := 0 to filenum-1 by 1
   list_files (Path+Code[FileIndex], ['files','follow_links'], ImageFiles)
   tuple_regexp_select (ImageFiles, ['\\.(tif|tiff|gif|bmp|jpg|jpeg|jp2|png|pcx|pgm|ppm|pbm|xwd|ima|hobj)$','ignore_case'], ImageFiles)
     for Index := 0 to |ImageFiles| - 1 by 1
         read_image (Image, ImageFiles[Index])
         binary_threshold (Image, Region, 'max_separability', 'dark', UsedThreshold)
         opening_rectangle1 (Region, RegionOpen, 5, 5)
         append_ocr_trainf (RegionOpen, GrayImage,Code[FileIndex], TrainFile1) 
     endfor 
endfor
stop ()

字符集的创建完毕后我们开始自己训练我们的分类器（MLP）文件格式为“.omc”
其中uniq(sort(Code))，表示分类的类别不能有重复的，这个是合并重复的标签。
例如：标签中a[‘0’,‘0’,‘0’,‘2’,‘1’]使用了后会变为a[‘0’,‘1’,‘2’]

read_ocr_trainf_names (TrainFile1, CharacterNames, CharacterCount)
create_ocr_class_mlp (8, 10, 'constant', 'default', uniq(sort(Code)), 80, 'none', 10, 42, OCRHandle)
trainf_ocr_class_mlp (OCRHandle, TrainFile1, 200, 1, 0.01, Error, ErrorLog)
FontFile:='shanjin.omc'
write_ocr_class_mlp(OCRHandle,FontFile)
clear_ocr_class_mlp (OCRHandle)
stop ()

第五步—— 字符检测识别

最后进行我们字符的识别，同样的将字符提取出来，读取我们自己的分类器（MLP）进行OCR识别
算法逻辑：
在这里插入图片描述
这里我们来看看具体的源码（仅供参考）

list_files (FilePath, ['files','follow_links'], ImageFiles)
tuple_regexp_select (ImageFiles, ['\\.(tif|tiff|gif|bmp|jpg|jpeg|jp2|png|pcx|pgm|ppm|pbm|xwd|ima|hobj)$','ignore_case'], ImageFiles)
for Index := 0 to |ImageFiles| - 1 by 1
    read_image (Image, ImageFiles[Index])
    rgb1_to_gray (Image, GrayImage)
    Locate (Image, ImageTemp, ProductRegion, [])  //图像定位与转正
  
    CodeDiff:=31
    Params:=[Color,CodeDiff]
    ExtracteRegionOCV (ImageTemp, Rectangle, ProductRegion, RegionResult, Params, NumberDots, 			NumberAllDots)   //喷码的提取
    stop ()
    fill_up_shape (RegionResult, RegionFillUp, 'area', 1, 100)
    sort_region (RegionFillUp, SortedRegions, 'character', 'true', 'row')
    union1 (SortedRegions, RegionUnion)
    difference (ImageTemp, RegionUnion, RegionDifference)
    paint_region (RegionDifference, GrayImage, ImageOcrRaw, 255, 'fill')
    paint_region (RegionUnion, ImageOcrRaw, ImageOcr, 0, 'fill')
    read_ocr_class_mlp (FontFile, OCRHandle)
    do_ocr_multi_class_mlp (SortedRegions, ImageOcr, OCRHandle, Class, Confidence)
    stop ()
endfor

最终结果：
在这里插入图片描述

写在最后

在我们训练完毕MLP后我们想要测试他的能力怎么办呢？我们可以使用助手的功能：
在调试自己训练的分类器是否正确的时候可以打开Halcon自带的OCR助手来查看自己的分类器能力。
在这里插入图片描述
在其中加载自己的字符集和分类器
在这里插入图片描述
这里我们还可以点击编辑菜单中选择"生成变化"这里可以我们的字符集变得更丰富：
在这里插入图片描述
然后用分类器（MLP）测试下识别的能力：
在这里插入图片描述

Cljxy～
关注
  • 11
    点赞
  • 踩
  • 65
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
基于Halcon的喷码识别方法
lifei092的博客
08-31 1135
这个函数是对已经提取好的特征进行单个字符的区域分割，从而可以将每个字符的特征图像进行有效匹配，这一步非常重要，区域划分不好的话后面的识别率会变得很低，具体参加见下面解析。['area','width','height']：分割区域参数，这里面‘area’表示面积，width表示宽度，height表示高度，这两个向量表示area(面积)在0到868.87之间的范围，width(宽度)在0到30.38之间的范围，现在发现，在图像特征提取之后，进行字符区域分割，这一步出现了分割区域漏洞的情况，具体还在调试中。
Halcon图像的 OCR 识别&训练字符
a296026640的博客
04-24 3906
算子：create_ocr_class_mlp( : : WidthCharacter, HeightCharacter, Interpolation, Features, Characters, NumHidden, Preprocessing, NumComponents, RandSeed :OCRHandle)示例：create_ocr_class_mlp (8, 10, 'constant', 'default', chans, 80, 'none', 10, 42, OCRHandle)
Halcon OCR，自定义训练与识别
CtrlNew的博客
04-30 862
本文主要记录Halcon 字符识别的训练与识别。
Halcon学习---光学字符训练、识别（OCR）算子
一位正在苦苦追求毕业的研究僧
10-04 2392
因为在halcon提供的训练样本文件中可能没有自己需要的字符，比如汉字和一些特殊符号，可以通过自己训练字符样本的方式来进行OCR识别
Halcon的OCR字符识别算法技巧总结
m0_37302966的博客
06-28 810
Halcon的OCR字符识别算法技巧总结
halcon喷码字符识别
CSDN博客
12-30 1412
dev_close_window () read_image (Image1, '9_30108_3c3894702192451.png') rgb1_to_gray (Image1, Image) get_image_size (Image, Width, Height) dev_open_window (0, 0, Width, Height, 'black', WindowHandle) dev_display (Image) mean_image (Image, ImageMean, 6, 6) d
halcon光学字符识别（训练后识别），验证码识别
u011511086的专栏
02-20 787
halcon光学字符识别，验证码图片识别
halcon 识别喷码字符（识别结果不正确）
小幸运
10-14 1564
read_image (Image, 'E:/halcon学习笔记/328181-20151229163706151-283865989.png') rgb1_to_gray (Image, GrayImage) threshold (GrayImage, Region, 0, 40) dilation_rectangle1 (Region, RegionDilation, 6, 7) conn...
halcon 深度学习标注_HALCON之喷码OCR识别案例
weixin_39895977的博客
12-22 1096
一个喷码识别的案例read_image(Image,'D:/用户目录/Desktop/2.png')rgb1_to_gray(Image,Image)get_image_size(Image,Width,Height)*获取喷码区域的方法很多比如可以用mean+dyn的动态阈值dots_image(Image,DotImage,5,'dark',2)threshold(...
Halcon学习笔记之OCR系列-喷码字体识别
weixin_44506305的博客
01-08 2290
这篇文章主要是介绍下我做的项目中遇到的喷码字体OCR识别。 原图如下： read_image (Image, 'C:/Users/Administrator/Desktop/喷涂.png') get_image_size (Image, Width, Height) rgb1_to_gray (Image, GrayImage) *首先看到图片，字体部分并没有很清晰的显示，所以需要通过一些预处理的手法提取OCR scale_image (GrayImage, ImageScaled, 2.83333, -
Halcon联合C#的OCR字符识别系统
06-28
本文将深入探讨一个基于Halcon与C#的OCR字符识别系统，其强大的功能和灵活的操作模式为用户提供了高效且准确的字符识别解决方案。 Halcon，由德国MVTec公司开发，是一款全球领先的机器视觉软件，提供全面的图像处理...
Halcon实现字符识别
08-08
总结来说，Halcon字符识别涉及的关键知识点有：Halcon环境的搭建、图像输入、模型训练、字符检测、参数调整及预处理。掌握这些，你就能在实际项目中实现高效的字符识别功能。记得持续优化模型和调整参数，以提高识别...
基于HALCON的IC卡喷码符号识别技术研究与实现 20181126
11-26
《基于HALCON的IC卡喷码符号识别技术研究与实现》是一篇深入探讨利用HALCON这一强大机器视觉软件进行IC卡喷码符号自动识别的技术文章。HALCON是德国MVTec公司开发的一套全面的机器视觉软件库，以其强大的图像处理...
基于Halcon的自己训练OCR识别dome.hdev
09-09
训练识别字符
基于HALCON的IC卡喷码符号识别技术研究与实现 (2).pdf
12-21
基于HALCON的IC卡喷码符号识别技术研究与实现 (2).pdf
算法训练营第47天|1143.最长公共子序列|1035.不相交的线|53. 最大子序和|392.判断子序列
bless_______的博客
07-24 309
如果text1[i - 1] 与 text2[j - 1]不相同，那就看看text1[0, i - 2]与text2[0, j - 1]的最长公共子序列 和 text1[0, i - 1]与text2[0, j - 2]的最长公共子序列，取最大的。如果text1[i - 1] 与 text2[j - 1]相同，那么找到了一个公共元素，所以dp[i][j] = dp[i - 1][j - 1] + 1;未想到特殊情况，即s或t为空串的情况，因为返回的是数组值，但是如果是空串就不会建立数组。
Codeforces Round 961 (Div. 2)
2301_80105412的博客
07-24 1042
Codeforces Round 961 (Div. 2) ABC
代码随想录算法训练营第二十二天|回溯算法part01
最新发布
qq_43456971的博客
07-25 657
这一题与上题一样，除了终止条件中需要判断和是否为target。多了一个剪枝操作，就是当值已经大于target，直接返回。本题还有一个建立数字和字母之间映射的问题，使用string数组来进行映射。因此回溯算法的宽度是每个集合里面的个数，回溯算法的深度是集合的个数。参数是digits与index，index是用来记录遍历第几个集合。在单个集合1-9中，寻找所有个数为k且和为target的组合。在单个集合1-n中，寻找所有个数为k的组合。这一题是在多个集合中找所有可能的组合。和所有递归一样，都有三部曲。
halcon connection_基于halcon的字符识别，附源码和解析
05-25
Halcon是一款图像处理软件，可以用于图像识别、字符识别、物体检测等多种领域。基于Halcon的字符识别可以通过以下步骤实现： 1. 装载图像：使用Halcon的read_image函数读取图像。 2. 预处理图像：使用Halcon的preprocessing函数对图像进行预处理，例如灰度化、二值化等。 3. 定位字符：使用Halcon的find_text函数对字符进行定位。 4. 分割字符：根据字符的位置信息，使用Halcon的crop_rectangle函数将字符从原图像中分割出来。 5. 特征提取：对分割出来的字符进行特征提取，例如使用Halcon的moments函数计算Hu不变矩。 6. 训练分类器：使用Halcon的svm_train函数训练分类器。 7. 字符识别：使用Halcon的svm_classify函数对新的字符进行识别。 下面是一个基于Halcon的字符识别的示例代码： ```python read_image(Image, 'characters.png') preprocessing(Image, Image, 'gray') threshold(Image, BinaryImage, 128, 255) reduce_domain(BinaryImage, Region, 100, 100, 200, 200) find_text(Region, TextRegions, 'auto', 'black', ['lines_gaps'], [30, 10], [30, 10]) num_chars := number_of_text(TextRegions) for i := 1 to num_chars crop_rectangle(Image, CharImage, TextRegions[i]) moments(CharImage, Moments) hu_moments(Moments, HuMoments) svm_classify(HuMoments, 'trained_classifier.svm', Result) write_string(Result) endfor ``` 在该代码中，首先读取图像并进行预处理，然后使用find_text函数定位字符并分割出来。接着，对每个字符进行特征提取，并使用svm_classify函数进行识别。最终输出识别结果。 需要注意的是，该示例代码仅供参考，实际应用中还需要根据具体情况进行调整和优化。同时，也需要准备好训练数据集，以便训练分类器。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值