Halcon联合C#的口罩佩戴实时识别

记录大学作品，先展示一下最终成品
运行前

识别通过

识别不通过

目前用网络上图片测试，识别精确度大概85%，后续进一步提高精准度，并可能加入人脸识别提示框，提高受检人可视度。

言归正传，要实现halcon和c#联合口罩佩戴实时识别，以下步骤：

一、深度学习训练网络模型

首先， 使用halcon提供的深度学习工具箱开发深度学习模型，进行深度学习模型的开发和训练，训练好模型后，将模型保存为.hdl文件。

以下是基于halcon深度学习的步骤：

准备训练数据集，建议数据集至少包含几百至几千张图片，同时需要对数据集进行标注，标注的内容根据实际需求而定。

使用halcon提供的图像预处理函数对数据集进行预处理，如图像增强、裁剪、缩放等。

*数据预处理
RawDataFolder := 'ImageData/'+['OK','NG']
read_dl_classifier_data_set (RawDataFolder, 'last_folder', RawImageFiles, Labels, LabelIndices, Classes)
PreprocessedFolder := 'preprocessedFolder'
OverwritePreprocessingFolder := true
 
*RemovePreprocessingAfterExample := true
 
file_exists (PreprocessedFolder, FileExists)
if (not FileExists or OverwritePreprocessingFolder)
    if (FileExists)
        remove_dir_recursively (PreprocessedFolder)     
    endif
    make_dir (PreprocessedFolder)
    for I := 0 to |Classes| - 1 by 1
        make_dir (PreprocessedFolder + '/' + Classes[I])
    endfor
    parse_filename (RawImageFiles, BaseNames, Extensions, Directories)
    ObjectFilesOut := PreprocessedFolder + '/' + Labels + '/' + BaseNames + '.hobj'
    check_output_file_names_for_duplicates (RawImageFiles, ObjectFilesOut)
    for I := 0 to |RawImageFiles| - 1 by 1
        read_image (Image, RawImageFiles[I])
        zoom_image_size (Image, Image, DlImageWidth, DlImageHeight, 'constant')
        convert_image_type (Image, Image, 'real')
        RescaleRange:=(DlRangeMax - DlRangeMin)/255.0
        scale_image (Image, Image, RescaleRange, DlRangeMin)
        count_obj (Image, Number)
        for Index := 1 to Number by 1
            select_obj (Image, ObjectSelected, Index)
            count_channels (ObjectSelected, Channel)
            if (Channel != DlNumChannels)
                compose3(ObjectSelected, ObjectSelected, ObjectSelected, ThreeChannelImage)
                replace_obj (Image, ThreeChannelImage, Image, 1)
            endif
        endfor
        
        * Write preprocessed image to hobj file.
        write_object (Image, ObjectFilesOut[I])
    endfor
    dev_clear_window ()
    dev_disp_text ('图片预处理阶段完成！', 'window', 'top', 'left', 'black', [], [])
endif
 
read_dl_classifier_data_set (PreprocessedFolder, 'last_folder', ImageFiles, Labels, LabelsIndices, Classes) 
 
TrainingPercent := 80 
ValidationPercent := 20 
**（ValidationImages, ValidationLabels）、测试集（TestImages, TestLabels）
split_dl_classifier_data_set (ImageFiles, Labels, TrainingPercent, ValidationPercent, TrainingImages, TrainingLabels, ValidationImages, ValidationLabels, TestImages, TestLabels) 
stop ()

使用halcon提供的深度学习工具箱进行模型的开发和训练，halcon支持多种深度学习模型，如卷积神经网络（CNN）、循环神经网络（RNN）等。
在模型的开发过程中，需要选择合适的网络结构、损失函数、优化算法等，并进行超参数调优，以达到最优的识别效果。

**设置超参数**
*设置类别超参数
set_dl_classifier_param (DLClassifierHandle, 'classes', Classes) 
BatchSize := 5
set_dl_classifier_param (DLClassifierHandle, 'batch_size', BatchSize) 
 
try 
    set_dl_classifier_param (DLClassifierHandle, 'runtime_init', 'immediately') 
catch (Exception) 
    dev_disp_error_text (Exception) 
    stop () 
endtry 
 
InitialLearningRate := 0.001 
set_dl_classifier_param (DLClassifierHandle, 'learning_rate', InitialLearningRate) 
 
 
LearningRateStepEveryNthEpoch := 50
LearningRateStepRatio := 0.1 
NumEpochs := 100

使用训练好的模型进行图像识别，可以使用halcon提供的深度学习函数进行图像分类、目标检测、语义分割等任务。

**训练分类器**
dev_clear_window () 
* 
PlotIterationInterval := 1
FileName := 'classifier_minist.hdl' 
train_fruit_classifier (DLClassifierHandle, FileName, NumEpochs, TrainingImages, TrainingLabels, ValidationImages, ValidationLabels, LearningRateStepEveryNthEpoch, LearningRateStepRatio, PlotIterationInterval, WindowHandle) 
dev_disp_text ('Press Run (F5) to continue', 'window', 'bottom', 'right', 'black', [], [])
stop ()
read_dl_classifier (FileName, DLClassifierHandle)
* 
* Compute the confusion matrix for the validation data set.
get_predicted_classes (ValidationImages, DLClassifierHandle, PredictedClassesValidation)
gen_confusion_matrix (ValidationLabels, PredictedClassesValidation, [], [], WindowHandle, ConfusionMatrix)
dev_disp_text ('Validation data', 'window', 'top', 'left', 'gray', 'box', 'false')
dev_disp_text ('Press Run (F5) to continue', 'window', 'bottom', 'right', 'black', [], [])
stop ()

二、halcon中实现检测功能

然后，在halcon中读取已经训练好的网络模型，实现视频流的图像采集、图像预处理、图像检测、结果显示等功能，

read_dl_classifier ('classifier_minist.hdl', DLClassifierHandle)   
get_dl_classifier_param (DLClassifierHandle, 'image_range_min', DlRangeMin)
get_dl_classifier_param (DLClassifierHandle, 'image_range_max', DlRangeMax)
get_dl_classifier_param (DLClassifierHandle, 'image_width', DlImageWidth)
get_dl_classifier_param (DLClassifierHandle, 'image_height', DlImageHeight)
WindowWidth:=800
WindowHeight:=600
dev_open_window (0, 0, WindowWidth, WindowHeight, 'black', WindowHandle)
open_framegrabber ('DirectShow', 1, 1, 0, 0, 0, 0, 'default', 8, 'rgb', -1, 'false', 'default', '[0] USB2.0 HD UVC WebCam', 0, -1, AcqHandle)
grab_image_start (AcqHandle, -1)
while (true)
    grab_image_async (Image, AcqHandle, -1)
    zoom_image_size (Image, Image, DlImageWidth, DlImageHeight, 'constant')
    convert_image_type (Image, Image, 'real')
    RescaleRange:=(DlRangeMax - DlRangeMin)/255.0
    scale_image (Image, Image, RescaleRange, DlRangeMin)
    apply_dl_classifier (Image, DLClassifierHandle, DLClassifierResultHandle)  
    get_dl_classifier_result (DLClassifierResultHandle, 'all', 'predicted_classes', PredictedClass)   
    Text := 'Predicted class: ' + PredictedClass
    if (PredictedClass == 'OK')
        disp_message (WindowHandle, Text, 'window', 12, 12, 'green', 'false')
    else
        disp_message (WindowHandle, Text, 'window', 12, 12, 'red', 'false')       
    endif   
endwhile
close_framegrabber (AcqHandle)

并把代码导出C#文件。

三、联合C#进行软件封装

接下来，使用C#开发图形界面，并引用halcon封装的dll动态库，在C#中使用halcon提供的HOperatorSet.ReadDlClassifier函数加载网络模型，将深度学习模型导入到C#中。

引入C#文件，实现图像检测以及结果显示等功能。再通过C#中使用多线程技术，实现实时识别功能。

最终实现效果为：通过摄像头实时采集图像，使用halcon深度学习模型进行口罩佩戴识别，将结果以图片形式显示在C#图形界面上，实现口罩佩戴的实时监测。