点击上方↑↑↑“OpenCV学堂”关注我
投稿作者:小黄弟,
来自:中国电科智慧城市建模仿真与智能技术重点实验室
文字编辑:gloomyfish
如果你觉得文章对你有帮助,欢迎转发支持
tf-slim
TF-Slim是一个用于定义、训练和评估复杂模型的tensorflow轻量级库,在slim库中已经有很多官方实现的网络并用ImageNet进行了预训练,如VGG、ResNet、Inception等,可直接拿来使用。本文将用Opencv的dnn模块调用预训练的InceptionV4模型进行图像分类及深度特征的提取。
首先需要下载tensorflow的model模块,地址为
https://github.com/tensorflow/models/slim位于 \models-master\research\slim路径下在https://github.com/tensorflow/models/tree/master/research/slim
下载预训练的分类模型,如图
下载InceptionV4的Checkpoint文件,格式为ckpt,Opencv只能调用冻结好的pb文件,所以需要将ckpt文件转为pb文件。在slim下新建文件夹为checkpoint,并将下载的inception_v4.ckpt放于该文件夹下。用slim下的export_inference_graph.py文件导出InceptionV4的图,大小为1M左右的my_inception_v4.pb。再通过tensorflow的freeze_graph.py文件导出冻结的InceptionV4文件,大小为160M左右的inception_v4_freeze.pb。此文件用于被Opencv调用。
基于InceptionV4实现图像分类
无废话版本,OpenCV DNN模块支持导入Inception v4模型,实现图像分类,代码演示如下:
Mat img, proBlob, prob;
Pointclass_number;
doubleclassProb;
intclass_id, class_id1;
img=imread("cat.jpg");
Netnet = readNetFromTensorflow("inception_v4_freeze.pb");
//net.setPreferableBackend(DNN_BACKEND_OPENCV); //启动GPU加速
//net.setPreferableTarget(DNN_TARGET_OPENCL); //启动GPU加速
if (net.empty())
{
cout<<"model file is not found"<<endl;
return -1;
}
proBlob=blobFromImage(img, 1/255.0, Size(299, 299), Scalar(0, 0, 0), true, false);
net.setInput(proBlob, "input");
prob=net.forward("InceptionV4/Logits/Predictions");
MatproMax = prob.reshape(1, 1);
minMaxLoc(proMax, NULL, &classProb, NULL, &class_number);
class_id = class_number.x; //获得预测索引
cout<<"class_id:"<endl;
运行输出结果为:
在classification_classes_ILSVRC2012.txt中对应的类别为Siamese cat, Siamese.
基于InceptionV4实现特征提取
图像分类模型最后逻辑层是输出分类得分,最后一个卷积层/池化层输出的结果为图像特征数据,通过在推断时候指定该层名称就可以实现在OpenCV DNN中通过CNN网络实现图像特征提取,对Inception V4模型来说,在forward时候把图像分类输出层
"InceptionV4/Logits/Predictions"
改为
"InceptionV4/Logits/AvgPool_1a/AvgPool"
即可得到图像特征,代码演示如下:
Mat img, proBlob, prob;
Pointclass_number;
doubleclassProb;
intclass_id, class_id1;
img=imread("cat.jpg");
Netnet = readNetFromTensorflow("inception_v4_freeze.pb");
//net.setPreferableBackend(DNN_BACKEND_OPENCV); //启动GPU加速
//net.setPreferableTarget(DNN_TARGET_OPENCL); //启动GPU加速
if (net.empty())
{
cout<<"model file is not found"<<endl;
return -1;
}
proBlob=blobFromImage(img, 1/255.0, Size(299, 299), Scalar(0, 0, 0), true, false);
net.setInput(proBlob, "input");
prob=net.forward("InceptionV4/Logits/AvgPool_1a/AvgPool");
prob=prob.reshape(1, 1);
cout<<"prob.size():"<endl;cout<endl;
此时的prob即为深度特征,得到图像特征描述数据如下:
相应代码文件已上传至网盘:
https://pan.baidu.com/s/1Alb9y6T0bT1iOWVA11eATA
![941c169290aba48384bd35cc5044a621.png](https://i-blog.csdnimg.cn/blog_migrate/6cae5bd14cb0278373b34ef4158eecff.png)
![941c169290aba48384bd35cc5044a621.png](https://i-blog.csdnimg.cn/blog_migrate/6cae5bd14cb0278373b34ef4158eecff.png)
往期精选
告诉大家你 在看
PASCAL VOC2012 数据集详解
scikit-image图像处理入门
首发 | OpenCV4 深度神经网络模块 !
云厚者,雨必猛
弓劲者,箭必远