目录
前言
最近学习深度学习时的一些总结和看法,参照深度学习的自带案例(classify_fruit_deep_learning.hdev)
一、准备
1、选取深度学习的分类模型
pretrained_dl_classifier_compact.hdl模型
pretrained_dl_classifier_enhanced.hdl模型
retrained_dl_classifier_resnet50.hdl模型
具体模型的优缺点可以看:https://blog.csdn.net/qq_18620653/article/details/106035517
2、获取模型中所使用图像的参数要求
dev_close_window()
*读取网络模型
read_dl_classifier ('pretrained_dl_classifier_compact.hdl', DLClassifierHandle)
*获取模型需要的图片大小
get_dl_classifier_param (DLClassifierHandle, 'image_width', DlImageWidth)
get_dl_classifier_param (DLClassifierHandle, 'image_height', DlImageHeight)
*获取模型需要的图片通道数
get_dl_classifier_param (DLClassifierHandle, 'image_num_channels', DlNumChannels)
*获取模型需要的图片灰度值范围
get_dl_classifier_param (DLClassifierHandle, 'image_range_min', DlRangeMin)
get_dl_classifier_param (DLClassifierHandle, 'image_range_max', DlRangeMax)
3、准备分类所需图片
二、编写代码
1、设置窗体
*关闭窗体
dev_update_off ()
dev_close_window ()
*新建窗体
WindowWidth := 800
WindowHeight := 600
dev_open_window_fit_size (0, 0, WindowWidth, WindowHeight, -1, -1, WindowHandle)
*字体
set_display_font (WindowHandle, 16, 'mono', 'true', 'false')
2、将图片打上标签
*选取深度学习分类模型
read_dl_classifier ('pretrained_dl_classifier_compact.hdl', DLClassifierHandle)
*原始数据存放路径
RawDataFolder :='E:/视觉/halcon_深度学习/DeepLearning/分类检测/' + ['橙子','梨','苹果','香蕉']
*根据原始数据打标签 参数:输入路径,方法,所有图片路径,所有图片标签,所有标签索引,标签类型
read_dl_classifier_data_set (RawDataFolder, 'last_folder', RawImageFiles, Labels, LabelIndices, Classes)
*处理后图片存放文件夹的名称
PreprocessedFolder := 'E:/视觉/halcon_深度学习/DeepLearning/分类检测hobj'
*false不覆盖处理后的图片
OverwritePreprocessingFolder := false
*true执行完后删除保存的图片
RemovePreprocessingAfterExample := true
3、将图片处理为分类模型所需要的图片
*将打标签的图像,并进行处理
*判断文件是否存在
file_exists (PreprocessedFolder, FileExists)
*文件不存在或者覆盖处理后的图片
if (not FileExists or OverwritePreprocessingFolder)
*如果覆盖时,文件夹存在,则删除
if (FileExists)
remove_dir_recursively (PreprocessedFolder)
endif
*文件不存在,则创建
make_dir (PreprocessedFolder)
for I := 0 to |Classes| - 1 by 1
make_dir (PreprocessedFolder + '/' + Classes[I])
endfor
*定义待存放文件路径和名称
*将文件名解析为目录,基本文件名和扩展名
parse_filename (RawImageFiles, BaseNames, Extensions, Directories)
*分类检测/梨/梨_001.hobj
ObjectFilesOut := PreprocessedFolder + '/' + Labels + '/' + BaseNames + '.hobj'
*处理输入图像并保存为.hobj格式文件
*每个样本图才处理成224*224分辨率、3通道、-127到128亮度级图像
DLClassifierHandle := 1902471203888
DlImageWidth := 224
DlImageHeight := 224
DlNumChannels := 3
DlRangeMin := -127.0
DlRangeMax := 128.0
for i := 0 to |RawImageFiles|-1 by 1
*读取样本文件
read_image (Image,RawImageFiles[i])
*将图片缩放到网络模型需求的大小
zoom_image_size (Image, Image, DlImageWidth, DlImageHeight, 'constant')
*将图片的灰度缩放成网络模型需求范围
*类型转换
convert_image_type (Image, Image, 'real')
RescaleRange := (DlRangeMax-DlRangeMin)/255.0
*缩放图像的灰度值
scale_image (Image, Image, RescaleRange, DlRangeMin)
*合成三通道图片
*获取图片通道个数
count_obj (Image, Number)
for j := 1 to Number by 1
select_obj (Image, ObjectSelected, j)
count_channels (ObjectSelected, Channel)
*如果图片不是三通道图,将图片合成为三通道图
if (Channel != DlNumChannels)
*转换为3通道图像
compose3 (ObjectSelected, ObjectSelected, ObjectSelected, ThreeChannel)
*替换图元数组
replace_obj (Image, ThreeChannel, Image, 1)
endif
endfor
*并写入文件
write_object (Image, ObjectFilesOut[i])
dev_disp_preprocessing_progress (i, RawImageFiles, PreprocessedFolder, WindowHandle)
endfor
dev_clear_window ()
dev_disp_text ('预处理完成。', 'window', 'top', 'left', 'black', [], [])
endif
4、将图片的数据集进行拆分
将处理后的图片分为三份,其中70%用于训练,15%用于验证,15%用于测试
*将数据分为 训练集,验证集,测试集
*读取处理后的数据
read_dl_classifier_data_set (PreprocessedFolder, 'last_folder', ImageFiles, Labels, LabelsIndices, Classes)
*将数据分为三个子集,训练集占:70%、验证集占:15%、测试集占:15%
TrainingPercent := 70
ValidationPercent := 15
*将数据拆分 参数:输入图像路径、输入的标签、训练%,验证%、返回用于训练的图像、返会用于训练图像的标签、返回用于验证的图像、返会用于验证图像的标签、返回用于测试的图像、返会用于测试图像的标签
split_dl_classifier_data_set (ImageFiles, Labels, TrainingPercent, ValidationPercent, TrainingImages, TrainingLabels, ValidationImages, ValidationLabels, TestImages, TestLabels)
用于训练的图像:
5、设置分类模型所需的参数和环境后,重新生成一个新的分类模型
*设置分类模型训练参数
*设置分类模型类名
set_dl_classifier_param (DLClassifierHandle, 'classes', Classes)
*设置分类模型训练批处理数
BatchSize := 25
set_dl_classifier_param (DLClassifierHandle, 'batch_size', BatchSize)
*设置运行环境
try
set_dl_classifier_param (DLClassifierHandle, 'runtime_init', 'immediately')
catch (Exception)
*显示相应类型的错误
dev_disp_error_text (Exception)
if (RemovePreprocessingAfterExample and Exception[0] != 4104)
remove_dir_recursively (PreprocessedFolder)
dev_disp_text ('文件夹中的预处理数据 "' + PreprocessedFolder + '" 已删除。', 'window', 'bottom', 'left', 'black', [], [])
endif
stop ()
endtry
*学习率
InitialLearningRate := 0.001
set_dl_classifier_param (DLClassifierHandle, 'learning_rate', InitialLearningRate)
*每30次根据下降因子更新学习率
LearningRateStepEveryNthEpoch := 30
LearningRateStepRatio := 0.1
*迭代次数
NumEpochs := 100
dev_clear_window ()
dev_disp_text ('训练已经开始...', 'window', 'top', 'left', 'black', [], [])
*每迭代4次绘制一下图
PlotEveryNthEpoch := 4
*生成的网络模型的存放路径
path := 'E:/视觉/halcon_深度学习/DeepLearning/分类检测/'
*训练好的网络模型名称
FileName := path + 'classifier_test.hdl'
6、训练
*训练模型
train_fruit_classifier (DLClassifierHandle, FileName, NumEpochs, TrainingImages, TrainingLabels, ValidationImages, ValidationLabels, LearningRateStepEveryNthEpoch, LearningRateStepRatio, PlotEveryNthEpoch, WindowHandle)
dev_disp_text ('Press Run (F5) to continue', 'window', 'bottom', 'right', 'black', [], [])
stop ()
7、验证
*验证
*加载训练好的网络模型
read_dl_classifier (FileName, DLClassifierHandle)
*计算验证数据集的混淆矩阵
get_predicted_classes (ValidationImages, DLClassifierHandle, PredictedClassesValidation)
*生成混淆矩阵模型
gen_confusion_matrix (ValidationLabels, PredictedClassesValidation, [], [], WindowHandle, ConfusionMatrix)
dev_disp_text ('Validation data', 'window', 'top', 'left', 'gray', 'box', 'false')
dev_disp_text ('Press Run (F5) to continue', 'window', 'bottom', 'right', 'black', [], [])
stop ()
dev_clear_window ()
8、测试
*测试
*加载训练好的网络模型
read_dl_classifier (FileName, DLClassifierHandle)
*单张图片测试
set_dl_classifier_param (DLClassifierHandle, 'batch_size', 1)
*测试是否可以在CPU环境下运行
try
set_dl_classifier_param (DLClassifierHandle, 'runtime', 'cpu')
Runtime := 'cpu'
catch (Exception)
Runtime := 'gpu'
endtry
*立即初始化运行时环境
set_dl_classifier_param (DLClassifierHandle, 'runtime_init', 'immediately')
*
dev_resize_window_fit_size (0, 0, WindowWidth, WindowHeight, -1, -1)
dev_disp_inference_text (Runtime)
stop ()
*循环测试分类结果
for Index := 0 to 20 by 1
ImageFile := RawImageFiles[floor(rand(1) * |RawImageFiles|)]
read_image (Image, ImageFile)
dev_resize_window_fit_image (Image, 0, 0, -1, -1)
*图像处理
preprocess_dl_fruit_example (Image, ImagePreprocessed, DLClassifierHandle)
*使用已经训练好的深度学习网络识别图像 参数:输入图像、分类器的句柄、分类的结果
apply_dl_classifier (ImagePreprocessed, DLClassifierHandle, DLClassifierResultHandle)
*获取识别结果 参数:分类的结果,批处理中图像的索引,通用参数的名称,通用参数的值
get_dl_classifier_result (DLClassifierResultHandle, 'all', 'predicted_classes', PredictedClass)
*
dev_display (Image)
Text := '预测类为: ' + PredictedClass
dev_disp_text (Text, 'window', 'top', 'left', 'forest green', 'box', 'false')
dev_disp_text ('Press Run (F5) to continue', 'window', 'bottom', 'right', 'black', [], [])
stop ()
endfor
stop ()
if (RemovePreprocessingAfterExample)
remove_dir_recursively (PreprocessedFolder)
dev_disp_text ('程序结束,已删除预处理的数据。', 'window', 'bottom', 'right', 'black', [], [])
else
dev_disp_text (' 程序结束 ', 'window', 'bottom', 'right', 'black', [], [])
endif
三、本地函数
编写过程中将会调用到一些本地函数
只需要从案例中复制过来即可
四、下载地址
很多人找我要源码,Github又不太好上传大文件,我就把我的网站新增了下载功能,如果下载接口出现问题请大家评论区回复一下,谢谢。