手把手教你使用LabVIEW OpenCV dnn实现图像分类（含源码）

已于 2022-05-27 17:07:12 修改
阅读量5.4k 收藏 28
点赞数 4
分类专栏： LabVIEW深度学习实战 深度学习：图像分类 文章标签： 人工智能 深度学习 图像处理 python 算法
于 2022-04-06 16:48:25 首次发布
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/virobotics/article/details/123982933
版权

文章目录

前言

上一篇和大家一起分享了如何使用LabVIEW OpenCV dnn实现手写数字识别，今天我们一起来看一下如何使用LabVIEW OpenCV dnn实现图像分类。

一、什么是图像分类？

1、图像分类的概念

图像分类，核心是从给定的分类集合中给图像分配一个标签的任务。实际上，这意味着我们的任务是分析一个输入图像并返回一个将图像分类的标签。标签总是来自预定义的可能类别集。
示例：我们假定一个可能的类别集categories = {dog, cat, eagle}，之后我们提供一张图片（下图）给分类系统。这里的目标是根据输入图像，从类别集中分配一个类别，这里为eagle,我们的分类系统也可以根据概率给图像分配多个标签，如eagle:95%，cat:4%，panda:1%
在这里插入图片描述

2、MobileNet简介

MobileNet：基本单元是深度级可分离卷积（depthwise separable convolution），其实这种结构之前已经被使用在Inception模型中。深度级可分离卷积其实是一种可分解卷积操作（factorized convolutions），其可以分解为两个更小的操作：depthwise convolution和pointwise convolution，如图1所示。Depthwise convolution和标准卷积不同，对于标准卷积其卷积核是用在所有的输入通道上（input channels），而depthwise convolution针对每个输入通道采用不同的卷积核，就是说一个卷积核对应一个输入通道，所以说depthwise convolution是depth级别的操作。而pointwise convolution其实就是普通的卷积，只不过其采用1x1的卷积核。图2中更清晰地展示了两种操作。对于depthwise separable convolution，其首先是采用depthwise convolution对不同输入通道分别进行卷积，然后采用pointwise convolution将上面的输出再进行结合，这样其实整体效果和一个标准卷积是差不多的，但是会大大减少计算量和模型参数量。
在这里插入图片描述
MobileNet的网络结构如表所示。首先是一个3x3的标准卷积，然后后面就是堆积depthwise separable convolution，并且可以看到其中的部分depthwise convolution会通过strides=2进行down sampling。然后采用average pooling将feature变成1x1，根据预测类别大小加上全连接层，最后是一个softmax层。如果单独计算depthwise convolution和pointwise convolution，整个网络有28层（这里Avg Pool和Softmax不计算在内）。
在这里插入图片描述

二、使用python实现图像分类（py_to_py_ssd_mobilenet.py）

1、获取预训练模型

  • 使用tensorflow.keras.applications获取模型（以mobilenet为例）;
from tensorflow.keras.applications import MobileNet
    original_tf_model = MobileNet(
        include_top=True,
        weights="imagenet"
    )
  • 把original_tf_model打包成pb
def get_tf_model_proto(tf_model):
    # define the directory for .pb model
    pb_model_path = "models"

    # define the name of .pb model
    pb_model_name = "mobilenet.pb"

    # create directory for further converted model
    os.makedirs(pb_model_path, exist_ok=True)

    # get model TF graph
    tf_model_graph = tf.function(lambda x: tf_model(x))

    # get concrete function
    tf_model_graph = tf_model_graph.get_concrete_function(
        tf.TensorSpec(tf_model.inputs[0].shape, tf_model.inputs[0].dtype))

    # obtain frozen concrete function
    frozen_tf_func = convert_variables_to_constants_v2(tf_model_graph)
    # get frozen graph
    frozen_tf_func.graph.as_graph_def()

    # save full tf model
    tf.io.write_graph(graph_or_graph_def=frozen_tf_func.graph,
                      logdir=pb_model_path,
                      name=pb_model_name,
                      as_text=False)

    return os.path.join(pb_model_path, pb_model_name)

2、使用opencv_dnn进行推理

  • 图像预处理（blob)
def get_preprocessed_img(img_path):
    # read the image
    input_img = cv2.imread(img_path, cv2.IMREAD_COLOR)
    input_img = input_img.astype(np.float32)

    # define preprocess parameters
    mean = np.array([1.0, 1.0, 1.0]) * 127.5
    scale = 1 / 127.5

    # prepare input blob to fit the model input:
    # 1. subtract mean
    # 2. scale to set pixel values from 0 to 1
    input_blob = cv2.dnn.blobFromImage(
        image=input_img,
        scalefactor=scale,
        size=(224, 224),  # img target size
        mean=mean,
        swapRB=True,  # BGR -> RGB
        crop=True  # center crop
    )
    print("Input blob shape: {}\n".format(input_blob.shape))

    return input_blob
  • 调用pb模型进行推理
def get_tf_dnn_prediction(original_net, preproc_img, imagenet_labels):
    # inference
    preproc_img = preproc_img.transpose(0, 2, 3, 1)
    print("TF input blob shape: {}\n".format(preproc_img.shape))

    out = original_net(preproc_img)

    print("\nTensorFlow model prediction: \n")
    print("* shape: ", out.shape)

    # get the predicted class ID
    imagenet_class_id = np.argmax(out)
    print("* class ID: {}, label: {}".format(imagenet_class_id, imagenet_labels[imagenet_class_id]))

    # get confidence
    confidence = out[0][imagenet_class_id]
    print("* confidence: {:.4f}".format(confidence))

3、实现图像分类 （代码汇总）

import os

import cv2
import numpy as np
import tensorflow as tf
from tensorflow.keras.applications import MobileNet
from tensorflow.python.framework.convert_to_constants import convert_variables_to_constants_v2




def get_tf_model_proto(tf_model):
    # define the directory for .pb model
    pb_model_path = "models"

    # define the name of .pb model
    pb_model_name = "mobilenet.pb"

    # create directory for further converted model
    os.makedirs(pb_model_path, exist_ok=True)

    # get model TF graph
    tf_model_graph = tf.function(lambda x: tf_model(x))

    # get concrete function
    tf_model_graph = tf_model_graph.get_concrete_function(
        tf.TensorSpec(tf_model.inputs[0].shape, tf_model.inputs[0].dtype))

    # obtain frozen concrete function
    frozen_tf_func = convert_variables_to_constants_v2(tf_model_graph)
    # get frozen graph
    frozen_tf_func.graph.as_graph_def()

    # save full tf model
    tf.io.write_graph(graph_or_graph_def=frozen_tf_func.graph,
                      logdir=pb_model_path,
                      name=pb_model_name,
                      as_text=False)

    return os.path.join(pb_model_path, pb_model_name)


def get_preprocessed_img(img_path):
    # read the image
    input_img = cv2.imread(img_path, cv2.IMREAD_COLOR)
    input_img = input_img.astype(np.float32)

    # define preprocess parameters
    mean = np.array([1.0, 1.0, 1.0]) * 127.5
    scale = 1 / 127.5

    # prepare input blob to fit the model input:
    # 1. subtract mean
    # 2. scale to set pixel values from 0 to 1
    input_blob = cv2.dnn.blobFromImage(
        image=input_img,
        scalefactor=scale,
        size=(224, 224),  # img target size
        mean=mean,
        swapRB=True,  # BGR -> RGB
        crop=True  # center crop
    )
    print("Input blob shape: {}\n".format(input_blob.shape))

    return input_blob


def get_imagenet_labels(labels_path):
    with open(labels_path) as f:
        imagenet_labels = [line.strip() for line in f.readlines()]
    return imagenet_labels


def get_opencv_dnn_prediction(opencv_net, preproc_img, imagenet_labels):
    # set OpenCV DNN input
    opencv_net.setInput(preproc_img)

    # OpenCV DNN inference
    out = opencv_net.forward()
    print("OpenCV DNN prediction: \n")
    print("* shape: ", out.shape)

    # get the predicted class ID
    imagenet_class_id = np.argmax(out)

    # get confidence
    confidence = out[0][imagenet_class_id]
    print("* class ID: {}, label: {}".format(imagenet_class_id, imagenet_labels[imagenet_class_id]))
    print("* confidence: {:.4f}\n".format(confidence))


def get_tf_dnn_prediction(original_net, preproc_img, imagenet_labels):
    # inference
    preproc_img = preproc_img.transpose(0, 2, 3, 1)
    print("TF input blob shape: {}\n".format(preproc_img.shape))

    out = original_net(preproc_img)

    print("\nTensorFlow model prediction: \n")
    print("* shape: ", out.shape)

    # get the predicted class ID
    imagenet_class_id = np.argmax(out)
    print("* class ID: {}, label: {}".format(imagenet_class_id, imagenet_labels[imagenet_class_id]))

    # get confidence
    confidence = out[0][imagenet_class_id]
    print("* confidence: {:.4f}".format(confidence))


def main():
    # configure TF launching
    #set_tf_env()

    # initialize TF MobileNet model
    original_tf_model = MobileNet(
        include_top=True,
        weights="imagenet"
    )

    # get TF frozen graph path
    full_pb_path = get_tf_model_proto(original_tf_model)
    print(full_pb_path)

    # read frozen graph with OpenCV API
    opencv_net = cv2.dnn.readNetFromTensorflow(full_pb_path)
    print("OpenCV model was successfully read. Model layers: \n", opencv_net.getLayerNames())

    # get preprocessed image
    input_img = get_preprocessed_img("yaopin.png")

    # get ImageNet labels
    imagenet_labels = get_imagenet_labels("classification_classes.txt")

    # obtain OpenCV DNN predictions
    get_opencv_dnn_prediction(opencv_net, input_img, imagenet_labels)

    # obtain TF model predictions
    get_tf_dnn_prediction(original_tf_model, input_img, imagenet_labels)


if __name__ == "__main__":
    main()

三、使用LabVIEW dnn实现图像分类（callpb_photo.vi）

本博客中所用实例基于LabVIEW2018版本,调用mobilenet pb模型

1、读取待分类的图片和pb模型

在这里插入图片描述

2、将待分类的图片进行预处理

在这里插入图片描述

3、将图像输入至神经网络中并进行推理

在这里插入图片描述

4、实现图像分类

在这里插入图片描述

5、总体程序源码：

按照如下图所示程序进行编码，实现图像分类，本范例中使用了一分类，分类出置信度最高的物体。

在这里插入图片描述
如下图所示为加载药瓶图片得到的分类结果，在前面板可以看到图片和label：
在这里插入图片描述

四、源码下载

链接：https://pan.baidu.com/s/10yO72ewfGjxAg_f07wjx0A?pwd=8888
提取码：8888

总结

更多关于LabVIEW与人工智能技术，可添加技术交流群进一步探讨。qq群号：705637299

opencv中的SVM图像分类（二）
去实验室，奔跑吧
07-30 4万+
原创作品 转载请注明出http://blog.csdn.net/always2015/article/details/47107129
OpenCV入门及应用案例：手把手教你做DNN图像分类
大数据
07-05 3313
导读：本文将介绍OpenCV的源码结构、OpenCV深度学习应用的典型流程，以及深度学习和OpenCV DNN（Deep Neural Networks，深度神经网络）模块的背景知识，让...
【秣厉科技】LabVIEW工具包——OpenCV
最新发布
秣厉科技的博客
03-01 799
本工具包在LabVIEW下实现大部分的OpenCV接口，包含超过2700个VI，覆盖OpenCV的15个模块之中的13个。功能包括摄像头采集、图像处理、条码+二维码识别、人脸识别、机器学习、DNN推理等等；
C++-OpenCV(10)-DNN-图像分类
aggie4628的专栏
04-22 1399
图像分类：给一张图像，和配置文件，这张图像的类型在配置文件中定义，根据这些条件，给出这张图像的分类。 可以用DNN实现。不过DNN不支持训练只支持推理(推理：前向反馈；训练，反向传播。训练用Caffe Tensorflow Torch Darknet)。 DNN的使用非常简单，就4步，如下图所示： 代码如下： void main() { //读取模型、配置、图像、分类文件 //googlenet 基于ImageNet数据集训练，支持1000个类别的数据分类 string protoF.
【OpenCV】122 OpenCV DNN 实现图像分类
刘小胖的博客
03-26 980
122 代码 实验结果 解释 优点 所有内容均来源于贾志刚老师的知识星球——OpenCV研习社，本文为个人整理学习，已获得贾老师授权，有兴趣、有能力的可以加入贾老师的知识星球进行深入学习。 ...
(七)OpenCV深度神经网络(DNN)模块_01_使用GoogleNet模型实现图像分类
01-20
DNN模块 图像分类、图像检测、实时对象检测、图像分割、预测、视频对象跟踪 使用googlenet模型实现图像分类 Caffe模型:bvlc_googlenet.caffemodel 描述文件:vblc_googlener.prototxt 标签文件:synset_words.txt 加载Caffe模型、使用模型预测 #include #include #include using namespace std; using namespace cv::dnn; using namespace cv; String Model_Caffe = bvlc_googlenet.caffemode
LabVIEW OpenCV DNN实现手写数字识别源码
05-26
本文将详细讲解如何使用LabVIEW结合OpenCV的深度学习网络（DNN）模块来实现手写数字识别。这个项目特别适合初学者，因为其门槛低，提供了完整的源码和预训练模型，使得任何人都能快速上手。 首先，我们需要了解基础...
手把手教你使用LabVIEW OpenCV DNN实现手写数字识别（含源码）
m0_56069948的博客
09-30 642
今天和大家一起来看一下在LabVIEW中如何使用OpenCV DNN模块实现手写数字识别OpenCV中的DNN（Deep Neural Network module）模块是专门用来实现深度神经网络相关功能的模块。OpenCV自己并不能训练神经网络模型，但是它可以载入别的深度学习框架（例如TensorFlow、pytorch、Caffe等等）训练好的模型，然后使用该模型做inference（预测）。而且OpenCV在载入模型时会使用自己的DNN模块对模型重写，使得模型的运行效率更高。
手把手教你使用LabVIEW实现Mask R-CNN图像实例分割
weixin_47367099的博客
11-02 960
图像实例分割(Instance Segmentation)是在语义检测(Semantic Segmentation)的基础上进一步细化，分离对象的前景与背景，实现像素级别的对象分离。并且图像的语义分割与图像的实例分割是两个不同的概念，语义分割仅仅会区别分割出不同类别的物体，而实例分割则会进一步的分割出同一个类中的不同实例的物体。计算机视觉中常见的一些任务（分类，检测，语义分割，实例分割）
DNN 数字识别 代码
07-29
- *1* *2* [手把手教你使用LabVIEW OpenCV DNN实现手写数字识别（含源码）](https://blog.csdn.net/virobotics/article/details/123880476)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra...
opencv dnn模块 示例(1) 图像分类 classification
热爱生活，忠于自己
01-30 5295
使用opencv的dnn模块读取caffe的模型squeezenet，对输入图像进行分类
基于Opencv的图像分类
04-01
图像分类，基于opencv进行图图像分类工作的。可以完美运行。
Opencv和图像分类
04-01
使用Opencv进行图像分类的应用程序，对图像的区分程度不错。
OpenCV dnn调用keras生成的深度学习模型，判断图像分类
08-31
利用keras深度学习框架，生成交通标志分类模型h5，转换为tensorflow的深度学习框架pb，在OpenCV中利用dnn调用pb模型并判断交通标志分类
opencv使用SVM实现图像分类识别
05-08
opencv使用SVM实现图像分类识别，代码已测试通过，能帮助我们更好理解SVM和opencv编程的使用。
opencv SVM图像分类工程文件
07-30
这是opencv svm图像分类的整个工程代码，在VS2010下打开即可。整个工程文件以及我的所有训练的图片存放在这里，需要的可以下载，自己在找训练图片写代码花了很多时间，下载完后自行解压，训练图片和测试图片可以从这免费下载http://download.csdn.net/detail/always2015/8944959，project data文件夹直接放在D盘就行，里面存放训练的图片和待测试图片，以及训练过程中生成的中间文件，现在这个下载object_classfication_end则是工程文件，我用的是vs2010打开即可，下面工程里有几个要注意的地方： 1、在这个模块中使用到了c++的boost库，但是在这里有一个版本的限制。这个模块的代码只能在boost版本1.46以上使用，这个版本以下的就不能用了，直接运行就会出错，这是最需要注意的。因为在1.46版本以上中对比CsSVM这个类一些成员函数做了一些私有化的修改，所以在使用该类初始化对象时候需要注意。 2、我的模块所使用到的函数和产生的中间结果都是在一个categorizer类中声明的，由于不同的执行阶段中间结果有很多个，例如：训练图片聚类后所得到单词表矩阵，svm分类器的训练的结果等，中间结果的产生是相当耗时的，所以在刚开始就考虑到第一次运行时候把他以文件XML的格式保存下来，下次使用到的时候在读取。将一个矩阵存入文本的时候可以直接用输出流的方式将一个矩阵存入，但是读取时候如果用输入流直接一个矩阵变量的形式读取，那就肯定报错，因为输入流不支持直接对矩阵的操作，所以这时候只能对矩阵的元素一个一个进行读取了。 3、在测试的时候，如果输入的图片太小，或者全为黑色，当经过特征提取和单词构造完成使用svm进行分类时候会出现错误。经过调试代码，发现上述图片在生成该图片的单词的时候所得到的单词矩阵会是一个空矩阵，即该矩阵的行列数都为0，所以在使用svm分类器时候就出错。所以在使用每个输入图片的单词矩阵的时候先做一个判断，如果该矩阵行列数都为0，那么该图片直接跳过。
OpenCV3.3深度学习模块(DNN)应用-图像分类
maweifei的博客
10-02 3153
OpenCV3.3深度学习模块(DNN)应用-图像分类 原创 2017-09-17 gloomyfish OpenCV学堂 DNN模块介绍 在OpenCV3.3版本发布中把DNN模块从扩展模块移到了OpenCV正式发布模块中，当前DNN模块最早来自Tiny-dnn，可以加载预先训练好的Caffe模型数据，OpenCV做了近一步扩展支持所有主流的深度学习框架训练生成与导出模型数
opencv的图像分类
m0_53573725的博客
08-03 330
今天，在网上复制了一段关于opencv实现图像分类的代码，其中涉及到了加载预训练的模型，这个模型需要自行下载（不像之前那个人脸识别的模型在CV2里面就有）。链接：https://pan.baidu.com/s/1xyLMEfPbt8N_7zpUbFgEYg。将模型下载到本地之后，就要在代码中修改这三个文件的路径。也许是这张图片不行，我换了其他的图片，是完全可以的。
在OpenCV中进行图像分类，通常涉及使用机器学习或深度学习模型对图像进行识别和分类
博客域名：borter.blog.csdn.net
03-11 1024
总的来说，使用OpenCV进行图像分类需要掌握一系列技术和方法，包括数据准备、特征提取、机器学习模型训练、深度学习模型的使用、后处理与性能优化以及部署与集成。OpenCV支持使用预训练的深度学习模型，如MobileNet、ResNet、Inception等，这些模型已经在大型数据集（如ImageNet）上进行了训练，并可以用于各种图像分类任务。你可以训练多个不同类型的模型（如不同的深度学习架构、不同的机器学习算法），然后将它们的输出进行组合，以获得更准确的分类结果。这可以通过投票、加权平均等方法实现。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

virobotics

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值