opencv dnn模块 DNN中Layer的动态创建、Net自定义网络搭建示例

最新推荐文章于 2024-08-24 14:36:12 发布
最新推荐文章于 2024-08-24 14:36:12 发布
阅读量1.4k 收藏 2
点赞数
分类专栏： opencv实例源码演示 c/c++ 文章标签： opencv dnn 自定义网络 Net
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wanggao_1990/article/details/90484478
版权
本文详细介绍了如何使用OpenCV的DNN模块构建自定义的神经网络，包括Net的定义、DictValue、Dict和LayerParams的使用，以及多个网络模型的搭建和测试，如Conv+Relu、Ave_Pooling和Eltwise层的组合。通过示例代码展示了如何添加和连接层，实现网络的前向计算。
摘要由CSDN通过智能技术生成

文章目录

一、介绍

opencv的dnn模块整体设计与现有的框架如caffe、tensorflow基本类似。
Net用有向无环图（DAG）表示，每一个节点是一个Layer示例，每条有向边都是一个Blob（一个NCWH的Mat）。

使用opencv的dnn功能，多数为直接加载第三方模型，同其他框架类似，opencv的dnn模块也是可以如同搭积木一样，拼装自己的网络结构（官方支持的层、自己注册的层），只是比其他的略复杂而已。后面给出多个例子说明，讲解如何利用opencv dnn模块搭建自己的网络。（仅前向计算）

理论上，只要知道其他网络模型的 网络结构、权重数据，就完全可以在opencv中自定义实现，注意，这里实现指的不是修改opencv的源代码。

二、Net的定义

class CV_EXPORTS_W_SIMPLE Net
{
   
public:

    CV_WRAP Net();  //!< 默认构造函数
    CV_WRAP ~Net(); //!< 默认析构函数；引用计数为0则析构
    //使用Inter model优化器的中间表示来创建网络；
    //xml是网络拓扑结构的XML配置文件
    //bin是model的model的二进制文件
    //使用Inter model优化器创建网络，OpenCV会使用inter的推理引擎后端进行推理；    
    CV_WRAP static Net readFromModelOptimizer(const String& xml, const String& bin);

    //测试网络中是否有layer，是否为空；若没有layer则返回true
    CV_WRAP bool empty() const;

    //向网络中添加新的layer；
    //name是layer的名字，是唯一的；
    //type是网络的类型，卷积层还是relu等；但是必须是OpenCV支持的层，或者自己实现的，在层注册器中注册过的类型；
    //params是层的参数，用于初始化该层；
    //返回值为该层唯一的整数ID；若返回-1表示添加失败
    int addLayer(const String &name, const String &type, LayerParams &params);

    //添加新层，将其第一个输入与上一层第一个输出相连接；
    //参数与addLayer函数相同；
    int addLayerToPrev(const String &name, const String &type, LayerParams &params);

    //转换layer的string name ；返回整数ID；若为-1，则layer不存在
    CV_WRAP int getLayerId(const String &layer);

	//获取所有layer的string name
    CV_WRAP std::vector<String> getLayerNames() const;

    //字符串和整数及他们的数组的容器
    typedef DictValue LayerId;

	//返回指向网络中指定ID的层的指针，layerId为整数ID或者层名字符串
    CV_WRAP Ptr<Layer> getLayer(LayerId layerId);

    //返回指向特定层的所有输入层的指针
    std::vector<Ptr<Layer> > getLayerInputs(LayerId layerId); // FIXIT: CV_WRAP

    //连接第一个layer的输出到第二个layer的输入
    //outPin 第一个layer输出的描述.
    //inpPin 第二个layer输入的描述.
    //输入的模板为：<layer_name>.[input_num]
    //模板层名称的第一部分是添加层的sting名称。如果该部分为空，则使用网络输入伪层；
    //模板输入编号的第二个可选部分是层输入编号，或者是标签编号。如果省略此部分，则将使 用第一层输入。
    CV_WRAP void connect(String outPin, String inpPin);

    //第一层的输出与第二层输入相连接
    //outLayerId 第一层的标识符
    //outNum 第一层输出的编号(一个层可能会有多个输出)
    //inpLayerId 第二层的标识符
    //inpNum 第二层输入的编号(一个层可能会有多个输入)
    void connect(int outLayerId, int outNum, int inpLayerId, int inpNum);

    //设置网络输入伪层的输出名称
    //每个网络都有自己的输入伪层，id=0
    //该层仅仅存储user的blobs，不进行任何计算
    //这一层提供了用户数据传递到网络中的唯一方法
    //与任何其他层一样，此层可以标记其输出，而此函数提供了一种简单的方法来实现这一点。
	CV_WRAP void setInputsNames(const std::vector<String> &inputBlobNames);

	//根据指定的层进行网路前向计算，并返回指定层名的输出
	// outputName 需要获取指定层输出的名字
	// 返回指定层首次出现的时输出
	// 默认对整个网络进行前向计算
    CV_WRAP Mat forward(const String& outputName = String());
	
	// 同上，outputBlobs为指定层名的所有输出
	CV_WRAP void forward(OutputArrayOfArrays outputBlobs, const String& outputName = String());

	// 根据给定的多个输出层名进行前向运算，并计算所有给定层名首次出现的输出
	CV_WRAP void forward(OutputArrayOfArrays outputBlobs,
                             const std::vector<String>& outBlobNames);
                             
	// 根据给定的多个输出层名进行前向运算，并计算所有给定层名的所有输出
    CV_WRAP_AS(forwardAndRetrieve) void forward(CV_OUT std::vector<std::vector<Mat> >& outputBlobs,
                                                    const std::vector<String>& outBlobNames);

    //编译Halide layers.<Halide是由MIT、Adobe和Stanford等机构合作实现的图像处理语言，它的核心思想即解耦算法和优化>
    //scheduler : 带有scheduler指令的yaml文件的路径
    //@see setPreferableBackend
    //调度Halide后端支持的层，然后编译
    //对于scheduler中不支持的层，或者完全不使用手动调度的层，会采用自动调度
	CV_WRAP void setHalideScheduler(const String& scheduler);

    //指定使用特定的计算平台运行网络
    //输入是backend的标识符
    //如果使用Intel的推理引擎库编译opencv，则DNN_BACKEND_DEFAULT默认表示
    //DNN_BACKEND_INFERENCE_ENGINE 否则是DNN_BACKEND_OPENCV.
    CV_WRAP void setPreferableBackend(int backendId);

    //指定特定的计算设备
    //输入是目标设备的标识符
    /**
     * List of supported combinations backend / target:
     * |                        | DNN_BACKEND_OPENCV | DNN_BACKEND_INFERENCE_ENGINE | DNN_BACKEND_HALIDE |
     * |------------------------|--------------------|------------------------------|--------------------|
     * | DNN_TARGET_CPU         |                  + |                            + |                  + |
     * | DNN_TARGET_OPENCL      |                  + |                            + |                  + |
     * | DNN_TARGET_OPENCL_FP16 |                  + |                            + |                    |
     * | DNN_TARGET_MYRIAD      |                    |                            + |                    |
    */
    CV_WRAP void setPreferableTarget(int targetId);

	// 设置网络的输入数据
	// blob 数据深度必须是 CV_32F 或 CV_8U 
	// name 设置输入数据的名字，可对应setInputsNames的参数（默认是仅一个输入）
	// scalefactor 可选缩放参数
    // mean        可选均值参数
    // input(n,c,h,w) = scalefactor*input(n,c,h,w) + mean
    // 注意： 
    //     net默认有一个"_input"层, 这里设置是input实际是"_input"层的输出
    CV_WRAP void setInput(InputArray blob, const String& name = "",
                              double scalefactor = 1.0, const Scalar& mean = Scalar());

    //为layer设置新的参数
	// layer     层的name或id
	// numParam  在 Layer::blobs 数组中的索引
	// blob      学习参数数据
    //如果新blob的形状与前一个形状不同，则以下正向传递可能失败
    CV_WRAP void setParam(LayerId layer, int numParam, const Mat &blob);

	//返回指定层参数的blob
	// 参数同setParam
    CV_WRAP Mat getParam(LayerId layer, int numParam = 0);

	//返回所有无输出的层的索引
    CV_WRAP std::vector<int> getUnconnectedOutLayers() const;

	//返回所有无输出的层的name
    CV_WRAP std::vector<String> getUnconnectedOutLayersNames() const;

    //输出网络中所有layer的input和output的shapes
    //netInputShapes 网络输入层中所有输入块的形状
    // layersIds 返回层的ID
    //inLayersShapes 返回输入层形状 顺序与layersIds的顺序相同
    //outLayersShapes 返回输出层形状 顺序与layersIds的顺序相同
    CV_WRAP void getLayersShapes(const std::vector<MatShape>& netInputShapes,
                     CV_OUT std::vector<int>& layersIds,
                     CV_OUT std::vector<std::vector<MatShape> >& inLayersShapes,
                     CV_OUT std::vector<std::vector<MatShape> >& outLayersShapes) const;

    /** @重载 */
    // 给定输入尺寸，计算网络所有layer的输入和输出形状
    CV_WRAP void getLayersShapes(const MatShape& netInputShape,
     				CV_OUT std::vector<int>& layersIds,
                    CV_OUT std::vector<std::vector<MatShape> >& inLayersShapes,
                    CV_OUT std::vector<std::vector<MatShape> >& outLayersShapes) const;

    //输出网络中指定layer的input和output的shapes
    //netInputShape 网络输入的shapes
    //指定layer的ID
    //inLayerShapes返回指定层input的shapes
    //outLayerShapes返回指定层output的shapes
    void getLayerShapes(const MatShape& netInputShape,
             const int layerId,
             CV_OUT std::vector<MatShape>& inLayerShapes,
             CV_OUT std::vector<MatShape>& outLayerShapes) const; // FIXIT: CV_WRAP

     /** @重载 */
     // 给定输入尺寸，计算指定layer的输入和输出形状
     void getLayerShapes(const std::vector<MatShape>& netInputShapes,
             const int layerId,
             CV_OUT std::vector<MatShape>& inLayerShapes,
             CV_OUT std::vector<MatShape>& outLayerShapes) const; // FIXIT: CV_WRAP

    //计算指定input，运行整个网络的FLOPS
    //netInputShapes 所有输入的shapes
    CV_WRAP int64 getFLOPS(const std::vector<MatShape>& netInputShapes) const;
    /** 重载 */
    CV_WRAP int64 getFLOPS(const MatShape& netInputShape) const;
    //计算指定layer的FLOPS
    CV_WRAP int64 getFLOPS(const int layerId,
                      const std::vector<MatShape>& netInputShapes) const;
    /** 重载 */
    CV_WRAP int64 getFLOPS(const int layerId, const MatShape& netInputShape) const;

    //获取整个model中layer Type的列表
    CV_WRAP void getLayerTypes(CV_OUT std::vector
最低0.47元/天 解锁文章
aworkholic
关注
专栏目录
Opencv中DNN模块的blobFromImage函数、forward函数
学以致用 知行合一
04-19 6198
介绍DNN模块的blobFromImage函数、forward函数。官网以及网上对blobFromImage函数、forward函数讲解的很详细，但是对于输出的结果几乎没有介绍，所以很多时候再对于输出之后怎么处理让人比较困惑。
基于C++的OpenCV4高级知识--深度神经网络（DNN）基础
jiangchaobing_2017的博客
10-24 370
基于C++的OpenCV高阶知识--深度神经网络DNN的完整代码示例
Opencv中DNN模块添加custom layer
m_buddy的博客
11-10 1028
使用环境：win10 64bits，VS2015，Opencv4.1.0 1. 概述 最近的几年Opencv开始在DNN领域耕耘，退出了网络inference的接口，其速度还是比较快的，特别是在本来就使用Opencv的图像处理代码中可以直接使用DNN模块直接加载model做inference，免除了添加附加依赖支持的问题。在4.1.0的版本中已经实现了将model从caffe、tensorflow...
OpenCV-Dnn添加自定义的网络层
samylee的博客
08-24 1013
第一部分 前言 众位小伙伴，好久没更新博客了，本次为大家带来：如何在OpenCV-Dnn中添加自定义的网络层。 第二部分 OpenCV_Dnn说明 1、OpenCV-Dnn支持的深度学习网络层颇多，主要有： Convolution Deconvolution Pooling InnerProduct TanH, ReLU, Sigmoid, BNLL, Power, AbsVal Softmax Reshape, Flatten, Slice, Split LRN MVN 2、本次添
OpenCV-DNN模块（模型导入、加载及运行网络模型）
m0_57442556的博客
08-24 370
DNN模块是OpenCV中专门用来实现DNN模块相关功能，其作用是载入别的深度学习框架（如TensorFlow、Caffe、Torch等）中已经训练好的模型，然后利用该模型完成预测等工作。
OpenCV 神经网络 - 多层感知器（MLP）
qq_27278957的博客
07-28 4263
一、简述 人工神经网络(ANN) 简称神经网络(NN)，能模拟生物神经系统对物体所作出的交互反应，是由具有适应性的简单单元(称为神经元)组成的广泛并行互连网络。 二、M-P神经元 “M-P神经元模型”（McCulloch and Pitts，1943）是开创性的人工神经元模型，将复杂的生物神经元活动通过简单的数学模型表示出来，提出最早且影响最大。 如下图所示，来自其它神经元的信号，，传递过来作为输入信号，并通过带权重的连接 (connection) 继续传递，然后神经元的总输入值与阈值θ...
opencv dnn模块 示例(14) 添加自定义层、使用第三方模型
热爱生活，忠于自己
05-08 5052
在opencv中dnn模块添加自定义层，先对caffe中AllPassLayer进行测试，不带训练学习参数，再添加自定义的卷积层，有训练学习参数。对opencv中添加自定义层的整个流程进行了简单介绍。
OpenCV 神经网络
qq_28483731的博客
03-10 695
OpenCV的神经网络使用（CvANN_MLP）概要首先，我们应该知道在OpenCV中已经有了很多的分类和回归算法。其中，在ml模块中我们可以使用OpenCV自带的神经网络算法CvANN_MLP。神经网络的具体实现我就不详细介绍了，在这里我们主要是介绍CvANN_MLP的定义及如何调用。原文参考：http://blog.csdn.net/qq_15947787/article/category/61
OpenCV之DNN模块，实现深度学习网络的推理加速
鬼刀
07-13 6247
OpenCV是计算机视觉领域使用最为广泛的开源库，以功能全面使用方便著称。自3.3版本开始，OpenCV加入了对深度神经网络(DNN)推理运算的支持。在LiveVideoStack线上交流分享中英特尔亚太研发有限公司开源技术中心软件工程师 吴至文详细介绍了OpenCV DNN模块的现状，架构，以及加速技术。 直播回放 https://www2.tutormeetplus.com/v2/re...
使用OpenCV_python中的DNN,CaffeModel识别图像只需30行代码
11-08
在OpenCV库中，DNN（Deep Neural Network）模块是一个强大的工具，用于处理深度学习模型。这个模块使得在Python环境中，我们能够加载和执行预先训练好的深度学习模型，如Caffe、TensorFlow、Torch等。本文将详细介绍...
dnn:深度神经网络
03-31
邓恩 深度神经网络
OpenCV自定义深度学习层支持
希望我的博客，能帮上你解决学习中工作中所遇到的问题
04-21 316
OpenCV自定义深度学习层支持自定义深度学习层支持介绍在C ++中定义自定义图层示例：来自Caffe的自定义图层示例：来自TensorFlow的自定义层在Python中定义自定义图层 自定义深度学习层支持 介绍 深度学习是一个快速增长的领域。建立神经网络的新方法通常会引入新类型的层。它们可以是对现有方法的修改，也可以是实施出色的研究思想的方法。 OpenCV提供了从不同的深度学习框架导入和运行网络的机会。有许多最受欢迎的图层。但是，您可能会遇到一个问题，即由于未实现的图层，无法使用OpenCV导入网络。
OpenCV DNN(二)——Net
2Know的博客
01-01 1万+
OpenCV DNN之Net 好久没有更新了，作为2019年的首发，希望2019年会是腾飞的一年，祝愿大家2019一切都很美好，能在公众号收货更多的干货，大家能一起进步，心想事成。 上一篇博文最后留下了一个尾巴，是关于Net的setInput和forward,当时分别介绍了，这两个函数的定义。本文暂时不深入介绍这两个函数，从OpenCV DNN的Net类入手，拆解OpenCV中DNN的结构。本文主...
opencv的dnn解析
热门推荐
深藏功与名
05-06 1万+
在学习过caffemodel加载之后，回头看看这个dnn里面都编译了哪些函数？ 先看blob头文件： #ifndef __OPENCV_DNN_DNN_BLOB_HPP__ #define __OPENCV_DNN_DNN_BLOB_HPP__ #include #include #include namespace cv { namespace dnn { //该类用来存储和处理bl
Opencv学习笔记 DNN模块概述
学以致用 知行合一
11-15 1217
OpenCV官方从3.3版本开始将改进后的DNN模块从opencv_contrib仓库移入主仓库并正式发布。从4.1.0版本开始支持CUDA加速，DNN模块与NVIDIA GPU、CUDA和cuDNN结合使用，可使推理速度提高2～15倍。目前，DNN模块支持的深度学习框架包括Caffe、TensorFlow、Torch、PyTorch和Darknet，另外，还支持开放神经网络交换（ONNX）格式的模型。
OpenCV3.3出炉，DNN为最大亮点
星沉阁
08-06 7153
OpenCV3.3在8月3号正式出炉，想要体验最新特性的朋友可以去官网下载了，反正配置一下只需要几分钟。这次最主要的更新就是，终于把DNN模块从contrib里面提到主仓库里面，放到了官方发布版中。虽然我配置的一直是OpenCV with contrib，但是对于DNN模块，限于电脑配置太低，一直没有怎么尝试。这次可以借着新版发布抽空尝试一下了。按照官方介绍，DNN现在有下面几点特性：无需任何依赖新
cv2 dnn模块报错total(os[i])，Assertion failed) total(os[i]) ＞ 0 in ‘cv::dnn::dnn4_v20201117::Net::Impl...
czsnooker的博客
09-19 1399
'cv::dnn::dnn4_v20201117::Net::Impl::getLayerShapesRecursively表示递归获取层shape的时候失败，所以尝试固定输入shape，问题成功解决。在使用paddlepaddle导出的onnx文件后使用opencv推理报错。然后重启内核或IDE。
OpenCV中DNN模块、DNN模块的常用API
あずにゃん梓喵的博客
07-23 2276
日萌社 人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新） 2.4. cv.dnn 学习目标 了解OpenCV中DNN模块 知道DNN模块的常用API OPenCV自3.3版本开始，加入了对深度学习网络的支持，即DNN模块，它支持主流的深度学习框架生成与到处模型的加载。 1.DNN模块 1.1. 模块...
c++ opencv4.5.3 dnn如何获取onnx模型输入的图像尺寸大小
最新发布
09-13
在C++中使用OpenCV版本4.5.3以及其深度神经网络（dnn）模块加载ONNX模型时，通常需要确保输入的图像尺寸符合模型的期望输入尺寸。以下步骤可以用来获取ONNX模型输入的图像尺寸： 1. 加载ONNX模型：首先需要加载ONNX模型文件到`cv::dnn::Net`对象中。 2. 获取输入层信息：通过`Net`对象的`getLayerNames()`方法可以获取所有层的名称，然后使用`getInputName()`或`getInputNames()`方法获取输入层的名称。 3. 获取输入层的尺寸信息：通过获取到的输入层名称，使用`getLayer()`方法获取到输入层的信息，输入层的属性中通常包含了输入尺寸的元信息。 下面是一个示例代码片段，展示如何获取输入层的尺寸信息： ```cpp #include <opencv2/opencv.hpp> #include <opencv2/dnn.hpp> int main() { // 加载ONNX模型 cv::dnn::Net net = cv::dnn::readNetFromONNX("model.onnx"); // 获取网络的输入层名称 std::vector<std::string> inputBlobNames = net.getInputNames(); std::string inputBlobName = inputBlobNames[0]; // 假设模型只有一个输入层 // 获取输入层的尺寸信息 cv::dnn::LayerDetails inputLayer = net.getLayer(inputBlobName); std::vector<int> inputShape = inputLayer.getOutputShape(); // 输出输入层的尺寸信息 std::cout << "输入层尺寸: " << inputShape[2] << " x " << inputShape[3] << std::endl; // 高度和宽度 // ... } ``` 请注意，上述代码中的`inputShape[2]`和`inputShape[3]`分别表示输入图像的高度和宽度。某些模型可能还需要批量大小（batch size）和通道数信息，这些可以在`inputShape[0]`和`inputShape[1]`中找到。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

aworkholic

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值