【图像分类】基于LabVIEW实现四大经典轻量级网络之一MobileNet的图像分类

最新推荐文章于 2023-10-06 15:05:24 发布

virobotics

最新推荐文章于 2023-10-06 15:05:24 发布

阅读量763

点赞数 13

分类专栏：深度学习：图像分类 LabVIEW深度学习实战文章标签：分类 labview pytorch 人工智能机器学习

本文为博主原创文章，未经博主允许不得转载。

本文链接：https://blog.csdn.net/virobotics/article/details/131387817

版权

LabVIEW深度学习实战同时被 2 个专栏收录

42 篇文章 781 订阅

订阅专栏

深度学习：图像分类

4 篇文章 1 订阅

订阅专栏

‍‍🏡博客主页： virobotics的CSDN博客：LabVIEW深度学习、人工智能博主
🎄所属专栏：『LabVIEW深度学习实战』
🍻上期文章： LabVIEW中使用unet快速实现图像分割
📰如觉得博主文章写的不错或对你有所帮助的话，还望大家多多支持呀！欢迎大家✌关注、👍点赞、✌收藏、👍订阅专栏

文章目录

前言
一、MobileNet简介
二、环境搭建
- 2.1 部署本项目时所用环境
- 2.2 LabVIEW工具包下载及安装网址
三、LabVIEW onnx实现MobileNet图像分类
- 3.1 模型获取及转换为onnx
- 3.2 LabVIEW onnx调用MobileNet实现图像分类（call_onnx_mobilenet.vi）
四、项目源码
总结

前言

今天我们一起来看一下，如何使用LabVIEW onnx工具包实现mobilenet的推理部署，实现图像分类。

一、MobileNet简介

MobileNet是一种轻量级的卷积神经网络模型，由Google团队在2017年提出。它的设计目的是在保持高精度的同时，大幅减少模型的参数量和计算量，以适应移动设备等资源受限环境的需求。

MobileNet使用了一种称为深度可分离卷积(depthwise separable convolution)的卷积操作，它将标准卷积分解为两个步骤：深度卷积和逐点卷积(pointwise convolution)。首先对输入的每个通道进行单独的卷积，然后在输出通道之间执行逐点卷积以生成最终结果。这种分解可以显著减少计算量和参数数量，同时还可以保持与标准卷积相当的准确性。基本单元是深度级可分离卷积（depthwise separable convolution），其实这种结构之前已经被使用在Inception模型中。深度级可分离卷积其实是一种可分解卷积操作（factorized convolutions），其可以分解为两个更小的操作：depthwise convolution和pointwise convolution，如图1所示。Depthwise convolution和标准卷积不同，对于标准卷积其卷积核是用在所有的输入通道上（input channels），而depthwise convolution针对每个输入通道采用不同的卷积核，就是说一个卷积核对应一个输入通道，所以说depthwise convolution是depth级别的操作。而pointwise convolution其实就是普通的卷积，只不过其采用1x1的卷积核。图2中更清晰地展示了两种操作。对于depthwise separable convolution，其首先是采用depthwise convolution对不同输入通道分别进行卷积，然后采用pointwise convolution将上面的输出再进行结合，这样其实整体效果和一个标准卷积是差不多的，但是会大大减少计算量和模型参数量。
在这里插入图片描述
MobileNet的网络结构如表所示。首先是一个3x3的标准卷积，然后后面就是堆积depthwise separable convolution，并且可以看到其中的部分depthwise convolution会通过strides=2进行down sampling。然后采用average pooling将feature变成1x1，根据预测类别大小加上全连接层，最后是一个softmax层。如果单独计算depthwise convolution和pointwise convolution，整个网络有28层（这里Avg Pool和Softmax不计算在内）。

在这里插入图片描述

二、环境搭建

2.1 部署本项目时所用环境

操作系统：Windows10
python：3.6及以上
LabVIEW：2018及以上 64位版本
AI视觉工具包：techforce_lib_opencv_cpu-1.0.0.98.vip
onnx工具包：virobotics_lib_onnx_cuda_tensorrt-1.0.0.16.vip【1.0.0.16及以上版本】或virobotics_lib_onnx_cpu-1.13.1.2.vip

2.2 LabVIEW工具包下载及安装网址

AI视觉工具包下载与安装参考：
https://blog.csdn.net/virobotics/article/details/123656523
AI视觉工具包介绍：
https://blog.csdn.net/virobotics/article/details/123522165
onnx工具包下载与安装参考：
https://blog.csdn.net/virobotics/article/details/124998746

三、LabVIEW onnx实现MobileNet图像分类

3.1 模型获取及转换为onnx

安装pytorch和torchvision
获取torchvision中的模型：mobilenet_(我们获取预训练好的模型)：

original_model = models.mobilenet_v2(pretrained=True)

转onnx

def get_pytorch_onnx_model(original_model):
    # define the directory for further converted model save
    onnx_model_path = dirname
    # define the name of further converted model
    onnx_model_name = "mobilenet.onnx"

    # create directory for further converted model
    os.makedirs(onnx_model_path, exist_ok=True)

    # get full path to the converted model
    full_model_path = os.path.join(onnx_model_path, onnx_model_name)

    # generate model input
    generated_input = Variable(
        torch.randn(1, 3, 224, 224)
    )

    # model export into ONNX format
    torch.onnx.export(
        original_model,
        generated_input,
        full_model_path,
        verbose=True,
        input_names=["input"],
        output_names=["output"],
        opset_version=11
    )

    return full_model_path

完整获取模型及转换python代码如下：

import os
import torch
import torch.onnx
from torch.autograd import Variable
from torchvision import models

dirname, filename = os.path.split(os.path.abspath(__file__))
print(dirname)

def get_pytorch_onnx_model(original_model):
    # define the directory for further converted model save
    onnx_model_path = dirname
    # define the name of further converted model
    onnx_model_name = "mobilenet.onnx"

    # create directory for further converted model
    os.makedirs(onnx_model_path, exist_ok=True)

    # get full path to the converted model
    full_model_path = os.path.join(onnx_model_path, onnx_model_name)

    # generate model input
    generated_input = Variable(
        torch.randn(1, 3, 224, 224)
    )

    # model export into ONNX format
    torch.onnx.export(
        original_model,
        generated_input,
        full_model_path,
        verbose=True,
        input_names=["input"],
        output_names=["output"],
        opset_version=11
    )

    return full_model_path


def main():
    # initialize PyTorch MobileNetV2
    original_model = models.mobilenet_v2(pretrained=True)

    # get the path to the converted into ONNX PyTorch model
    full_model_path = get_pytorch_onnx_model(original_model)
    print("PyTorch MobileNet model was successfully converted: ", full_model_path)


if __name__ == "__main__":
    main()