OpenVINO 2021r2 C++ 超分辨率重建DBPN

想多看看OpenVINO 2021r2对各种SR模型计算层的支持怎么样,再试一下DBPN, 这个是NTIRE2018超分8倍的冠军, 只随便测试一下2X的模型

 

 

从网上找了个基于caffe的模型 https://github.com/alterzero/DBPN-caffe  caffe是个非常老的框架了 OpenVINO应该支持的非常好了.

关于推理数据的预处理和后处理,从原项目可以看出就是简单的除以255.0和乘以255.0

    %% work on illuminance only
    im_gnd = modcrop(im, up_scale);
输入低分辨率图像就是im_gnd除以255然后缩小up_scale倍
    im_gnd = single(im_gnd)/255;
    im_l = imresize(im_gnd, 1/up_scale, 'bicubic');

    %% bicubic interpolation
    tic
    im_b = imresize(im_l, up_scale, 'bicubic');
    t_bic=toc;
   
    %% DBPN
    if flat==1
        [im_dbpn,t_dbpn] = run_cnn(im_b, model, weights,use_gpu);
        t_dbpn=t_dbpn+t_bic;
    else
        if ensemble==0
            [im_dbpn,t_dbpn] = run_cnn(im_l, model, weights,use_gpu);
        else
            [im_dbpn,t_dbpn]=selfEnsemble(im_l,model,weights,use_gpu);
        end
    end

    %% remove border
输出数据乘以255
     im_dbpn = shave(uint8(im_dbpn * 255), [up_scale, up_scale]);
     im_gnd = shave(uint8(im_gnd * 255), [up_scale, up_scale]);
     im_b = shave(uint8(im_b * 255), [up_scale, up_scale]);

 

废话不多说,MO转换大法

python "c:\Program Files (x86)\IntelSWTools\openvino_2021\deployment_tools\model_optimizer\mo_caffe.py" --input_shape=[1,3,480,640] --scale_values=[255.0] --input_model=DBPN_2x.caffemodel --data_type FP16

 

后处理部分针对推理输出数据做一下乘255.0的处理

				//channel == 3
				cv::Mat Img(H, W, CV_8UC3);
				unsigned char *image_ptr = Img.data;

				for (size_t n = 0; n < num_images; n++) {
					for (size_t i = 0; i < nPixels; i++) {
//输出数据乘以255.0
						data_img[i * num_channels] = static_cast<float>(output_data[i + n * nPixels * num_channels]*255.0);
						data_img[i * num_channels + 1] = static_cast<float>(
							output_data[(i + nPixels) + n * nPixels * num_channels] * 255.0 );
						data_img[i * num_channels + 2] = static_cast<float>(
							output_data[(i + 2 * nPixels) + n * nPixels * num_channels] * 255.0);

						//switch BGR->RGB, OpenCV doesn't need it, just skip it
						//float temp = data_img[i * num_channels];
						//data_img[i * num_channels] = data_img[i * num_channels + 2];
						//data_img[i * num_channels + 2] = temp;

						if (data_img[i * num_channels] < 0) data_img[i * num_channels] = 0;
						if (data_img[i * num_channels] > 255) data_img[i * num_channels] = 255;
						image_ptr[i * num_channels] = data_img[i * num_channels];

						if (data_img[i * num_channels + 1] < 0) data_img[i * num_channels + 1] = 0;
						if (data_img[i * num_channels + 1] > 255) data_img[i * num_channels + 1] = 255;
						image_ptr[i * num_channels + 1] = data_img[i * num_channels + 1];

						if (data_img[i * num_channels + 2] < 0) data_img[i * num_channels + 2] = 0;
						if (data_img[i * num_channels + 2] > 255) data_img[i * num_channels + 2] = 255;
						image_ptr[i * num_channels + 2] = data_img[i * num_channels + 2];
					}
				}
				imshow("DBPN_2x", Img);

 

最终得到输出效果

原始图片(测试图片来自网络)

Bicubic的2x放大效果

DBPN 2X效果 

肉眼看上去好像比EDSR要好一点 :)

 

最终照例看一下性能,

调用inferRequest_regular.Infer()推理的时间, 在8665U 4核8线程的CPU和 Gen9 24EU的核显上

  • CPU: 23069ms (0.043FPS)
  • GPU: 13147ms (0.076FPS)

 

看来OpenVINO做超分的主要难度在MO转换上,只要MO能够正常的转换成功,后面的推理代码实现基本就是一个OpenVINO的async_classification_sample例程的代码实现。对于2021年发布的OpenVINO版本来说,转换这些前几年的SR模型,就像用机关枪打冷兵器时代的战争一样,完全属于屠杀,轻松畅快 :)

 

实现代码,仅供参考

https://gitee.com/tisandman/dbpn_ov2021

 

参与评论 您还未登录,请先 登录 后发表或查看评论
<p style="background: white;"><span lang="EN-US" style="font-size: 10pt; font-family: 微软雅黑, sans-serif; color: black; background-color: #f8cac6;">YOLOX</span><span style="font-size: 10.0pt; font-family: '微软雅黑',sans-serif; mso-bidi-font-family: Arial; color: black; mso-themecolor: text1;">是旷视科技新近推出的高性能实时目标检测网络,性能越了<span lang="EN-US">YOLOv3/YOLOv4 /YOLOv5</span>。</span><span lang="EN-US" style="font-size: 10.0pt; font-family: '微软雅黑',sans-serif; mso-bidi-font-family: Arial; color: black;"> </span><span lang="EN-US" style="font-size: 10pt; font-family: Arial, sans-serif; color: black; background-color: #f8cac6;">OpenVINO</span><span style="font-size: 10.0pt; font-family: '微软雅黑',sans-serif; mso-bidi-font-family: Arial; color: black;">是针对<span lang="EN-US">Intel</span>的<span lang="EN-US">CPU</span>等设备的加速工具。</span></p> <p style="background: white;"><span style="font-size: 10pt; font-family: 微软雅黑, sans-serif;">本课程在<span style="background-color: #f8cac6;"><span lang="EN-US">Windows</span>和<span lang="EN-US">Ubuntu</span>系统</span>上详细演示使用<span lang="EN-US">OpenVINO</span>对</span><span lang="EN-US" style="font-size: 10pt; font-family: Arial, sans-serif;">YOLOX</span><span style="font-size: 10pt; font-family: 微软雅黑, sans-serif;">进行</span><span style="font-size: 10pt; font-family: 微软雅黑, sans-serif;">加速和部署。其中对<span style="background-color: #f8cac6;"><span lang="EN-US">Python</span>和<span lang="EN-US">C++</span></span>的<span lang="EN-US">OpenVINO</span>部署都进行了讲解。特别是讲述了针对<span style="background-color: #f8cac6;">自己数据集上训练出的<span lang="EN-US">YOLOX</span></span>的<span lang="EN-US">OpenVINO</span>加速部署方法。</span></p> <p style="margin: 0cm; background: white;"><span style="font-size: 10pt; font-family: 微软雅黑, sans-serif;"><strong>相关课程:</strong></span></p> <p style="margin: 0cm; background: white;"><span style="font-size: 10pt; font-family: 微软雅黑, sans-serif;">《<span lang="EN-US">YOLOX</span>目标检测实战:训练自己的数据集》<span lang="EN-US">https://edu.csdn.net/course/detail/35586</span></span></p> <p style="background: white;"><span style="font-size: 10pt; font-family: 微软雅黑, sans-serif;"> </span></p> <p style="margin: 0cm; background: white;"><span style="font-size: 10pt; font-family: 微软雅黑, sans-serif;">《<span lang="EN-US">YOLOX</span>目标检测实战:<span lang="EN-US">TensorRT</span>加速部署》<span lang="EN-US">https://edu.csdn.net/course/detail/35716</span></span></p> <p><img src="https://img-bss.csdnimg.cn/202108220519348711.jpg" alt="openvino加速演示" /></p> <p><img src="https://img-bss.csdnimg.cn/202108220323246885.jpg" alt="课程内容" /></p>
<p> <span></span> </p> <p> 手把手讲授如何搭建成功OpenVINO框架,并且使用预训练模型快速开发超分辨率、道路分割、汽车识别、人脸识别、人体姿态和行人车辆分析。得益于OpenVINO框架的强大能力,这些例子都能够基于CPU达到实时帧率。<br /> 课程的亮点在于在调通Demo的基础上更进一步:一是在讲Demo的时候,对相关领域问题进行分析(比如介绍什么是超分辨率,有什么作用)、预训练模型的来龙去脉(来自那篇论文,用什么训练的)、如何去查看不同模型的输入输出参数、如何编写对应的接口参数进行详细讲解;二是基本上对所有的代码进行重构,也就是能够让例子独立出来,并且给出了带有较详细注释的代码;三是注重实际运用,将Demo进一步和实时视频处理框架融合,形成能够独立运行的程序,方便模型落地部署;四是重难点突出、注重总结归纳,对OpenVINO基本框架,特别是能够提高视频处理速度的异步机制和能够直接部署解决实际问题的骨骼模型着重讲解,帮助学习理解;五是整个课程准备精细,每一课都避免千篇一律,前一课有对后一课的预告,后一课有对前一课的难点回顾,避免学习过程中出现突兀;六是在适当的时候拓展衍生,不仅讲OpenVINO解决图像处理问题,而且还补充图像处理的软硬选择、如何在手机上开发图像处理程序等内容,帮助拓展视野,增强对行业现状的了解。<br /><br /> 基本提纲:<br /> 1、课程综述、环境配置<br /> 2、OpenVINO范例-超分辨率(super_resolution_demo)<br /> 3、OpenVINO范例-道路分割(segmentation_demo)<br /> 4、OpenVINO范例-汽车识别(security_barrier_camera_demo)<br /> 5、OpenVINO范例-人脸识别(interactive_face_detection_demo)<br /> 6、OpenVINO范例-人体姿态分析(human_pose_estimation_demo)<br /> 7、OpenVINO范例-行人车辆分析(pedestrian_tracker_demo)<br /> 8、NCS和GOMFCTEMPLATE<br /> 9、课程小结,资源分享 </p>

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
©️2022 CSDN 皮肤主题:大白 设计师:CSDN官方博客 返回首页

打赏作者

sandmangu

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值