(图解)一步一步使用CPP实现深度学习中的卷积

最新推荐文章于 2023-03-13 10:04:56 发布
置顶 最新推荐文章于 2023-03-13 10:04:56 发布
阅读量542 收藏 4
点赞数 1
分类专栏： 深度学习 文章标签： c++ 卷积 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MSNH2012/article/details/112460996
版权
(图解)一步一步使用CPP实现深度学习中的卷积

导语
卷积操作在深度学习中的重要性,想必大家都很清楚了.接下来将通过图解的方式,使用cpp一步一步从简单到复杂来实现卷积操作.

符号约定

  • F为输入;
  • width为输入的宽;
  • height为输入的高;
  • channel为输入的通道;
  • K为kernel;
  • kSizeX为kernel的宽;
  • kSizeY为kernel的高;
  • filters为kernel的个数;
  • O为输出;
  • outWidth为输出的宽;
  • outHeight为输出的高;
  • outChannel为输出的通道;

卷积输出尺寸计算公式
W 2 = W 1 + 2 ∗ p a d d i n g − ( d i l a t i o n ∗ ( k s i z e − 1 ) + 1 ) s t r i d e + 1 W_2=\frac{W_1+2*padding - (dilation*(ksize-1)+1)}{stride}+1 W2​=strideW1​+2∗padding−(dilation∗(ksize−1)+1)​+1

1. 最简单的3x3卷积
首先, 我们不考虑任何padding, stride, 多维度等情况,来一个最简单的3x3卷积操作.计算思路很简单, 对应元素相乘最后相加即可.此处:
- width=3
- height=3
- channel=1
- paddingX=0
- paddingY=0
- strideX=1
- strideY=1
- dilationX=1
- dilationY=1
- kSizeX=3
- kSizeY=3
- filters=1

可根据卷积输出尺寸计算公式,得到:
- outWidth=1
- outHeight=1
- outChannel=1

图1 最简单的3x3卷积

cpp代码: 

void demo0()
{
    float F[] = {1,2,3,4,5,6,7,8,9};
    float K[] = {1,2,3,4,5,6,7,8,9};
    float O = 0;

    int width  = 3;
    int height = 3;
    int kSizeX = 3;
    int kSizeY = 3;

    for(int m=0;m<kSizeY;m++)
    {
        for(int n=0;n<kSizeX;n++)
        {
            O+=K[m*kSizeX+n]*F[m*width+n];
        }
    }

    std::cout<<O<<" ";
}

2. 最简单卷积(1)
接下来考虑能适用于任何尺寸的简单卷积, 如输入为4x4x1, kernel为3x3x1. 这里考虑卷积步长为1, 则此处的参数为:
- width=4
- height=4
- channel=1
- paddingX=0
- paddingY=0
- strideX=1
- strideY=1
- dilationX=1
- dilationY=1
- kSizeX=3
- kSizeY=3
- filters=1
可根据卷积输出尺寸计算公式,得到:
- outWidth=2
- outHeight=2
- outChannel=1

图2 最简单卷积(1)

cpp代码:

void demo1()
{
    float F[] = {1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16};
    float K[] = {1,2,3,4,5,6,7,8,9};
    float O[] = {0,0,0,0};

    int padX = 0;
    int padY = 0;

    int dilationX = 1;
    int dilationY = 1;

    int strideX  = 1;
    int strideY  = 1;

    int width = 4;
    int height = 4;

    int kSizeX = 3;
    int kSizeY = 3;

    int outH = (height+2*padY-(dilationY*(kSizeY-1)+1)) / strideY + 1;
    int outW = (width+2*padX-(dilationX*(kSizeX-1)+1)) / strideX + 1;

    for(int i=0;i<outH;i++)
    {
        for(int j=0;j<outW;j++)
        {
            for(int m=0;m<kSizeY;m++)
            {
                for(int n=0;n<kSizeX;n++)
                {
                    O[i*outW+j]+=K[m*kSizeX+n]*F[(m+i)*width+(n+j)];
                }
            }
        }
    }

    for (int i = 0; i < outH; ++i)
    {
        for (int j = 0; j < outW; ++j)
        {
            std::cout<<O[i*outW+j]<<" ";
        }
        std::cout<<std::endl;
    }
}

3. 最简单卷积(2)
接下来考虑在步长上为任意步长的卷积, 如输入为4x4x1, kernel为2x2x1. 这里考虑卷积步长为2, 则此处的参数为:
- width=4
- height=4
- channel=1
- paddingX=0
- paddingY=0
- strideX=2
- strideY=2
- dilationX=1
- dilationY=1
- kSizeX=2
- kSizeY=2
- filters=1
可根据卷积输出尺寸计算公式,得到:
- outWidth=2
- outHeight=2
- outChannel=1
在这里插入图片描述

图3 最简单卷积(2)

cpp代码: 

void demo2()
{
    float F[] = {1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16};
    float K[] = {1,2,3,4};
    float O[] = {0,0,0,0};

    int padX = 0;
    int padY = 0;

    int dilationX = 1;
    int dilationY = 1;

    int strideX  = 2;
    int strideY  = 2;

    int width = 4;
    int height = 4;

    int kSizeX = 2;
    int kSizeY = 2;

    int outH = (height+2*padY-(dilationY*(kSizeY-1)+1)) / strideY + 1;
    int outW = (width+2*padX-(dilationX*(kSizeX-1)+1)) / strideX + 1;

    for(int i=0;i<outH;i++)
    {
        for(int j=0;j<outW;j++)
        {
            for(int m=0;m<kSizeY;m++)
            {
                for(int n=0;n<kSizeX;n++)
                {
                    O[i*outW+j]+=K[m*kSizeX+n]*F[(m+i*strideY)*width+(n+j*strideX)];
                }
            }
        }
    }

    for (int i = 0; i < outH; ++i)
    {
        for (int j = 0; j < outW; ++j)
        {
            std::cout<<O[i*outW+j]<<" ";
        }
        std::cout<<std::endl;
    }
}

4. 带padding的卷积
接下来考虑带padding的卷积, 如输入为4x4x1, kernel为3x3x1. 卷积步长为1, padding为1 则此处的参数为:
- width=4
- height=4
- channel=1
- paddingX=1
- paddingY=1
- strideX=1
- strideY=1
- dilationX=1
- dilationY=1
- kSizeX=3
- kSizeY=3
- filters=1

可根据卷积输出尺寸计算公式,得到:
- outWidth=2
- outHeight=2
- outChannel=1

图4 考虑padding卷积

cpp代码: 

void demo3()
{
    float F[] = {1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16};
    float K[] = {1,2,3,4,5,6,7,8,9};
    float O[] = {0,0,0,0};

    int padX = 1;
    int padY = 1;

    int dilationX = 1;
    int dilationY = 1;

    int strideX  = 2;
    int strideY  = 2;

    int width = 4;
    int height = 4;

    int kSizeX = 3;
    int kSizeY = 3;

    int outH = (height+2*padY-(dilationY*(kSizeY-1)+1)) / strideY + 1;
    int outW = (width+2*padX-(dilationX*(kSizeX-1)+1)) / strideX + 1;

    for(int i=0;i<outH;i++)
    {
        for(int j=0;j<outW;j++)
        {
            for(int m=0;m<kSizeY;m++)
            {
                for(int n=0;n<kSizeX;n++)
                {
                    float fVal = 0;  
                    //考虑边界强情况
                    if((n+j*strideX-padX)>-1&&(m+i*strideY-padY>-1)&&(n+j*strideX-padX)<=width&&(m+i*strideY-padY>-1)<=height) 
                    {
                        fVal = F[(m+i*strideY-padX)*width+(n+j*strideX-padY)];
                    }
                    O[i*outW+j]+=K[m*kSizeX+n]*fVal;
                }
            }
        }
    }

    for (int i = 0; i < outH; ++i)
    {
        for (int j = 0; j < outW; ++j)
        {
            std::cout<<O[i*outW+j]<<" ";
        }
        std::cout<<std::endl;
    }
}

5. 多通道卷积
接下来考虑多通道卷积, 如输入为4x4x1, kernel为3x3x1. 卷积步长为1, padding为1, 输入通道为2, 则此处的参数为:
- width=4
- height=4
- channel=2
- paddingX=1
- paddingY=1
- strideX=1
- strideY=1
- dilationX=1
- dilationY=1
- kSizeX=3
- kSizeY=3
- filters=1

可根据卷积输出尺寸计算公式,得到:
- outWidth=2
- outHeight=2
- outChannel=1

图5 多通道卷积

cpp代码: 

void demo4()
{
    float F[] = {1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16};
    float K[] = {1,2,3,4,5,6,7,8,9,1,2,3,4,5,6,7,8,9};
    float O[] = {0,0,0,0};

    int padX = 1;
    int padY = 1;

    int dilationX = 1;
    int dilationY = 1;

    int strideX  = 2;
    int strideY  = 2;

    int width = 4;
    int height = 4;

    int kSizeX = 3;
    int kSizeY = 3;

    int channel = 2;

    int outH = (height+2*padY-(dilationY*(kSizeY-1)+1)) / strideY + 1;
    int outW = (width+2*padX-(dilationX*(kSizeX-1)+1)) / strideX + 1;

    for (int c = 0; c < channel; ++c)
    {
        for(int i=0;i<outH;i++)
        {
            for(int j=0;j<outW;j++)
            {
                for(int m=0;m<kSizeY;m++)
                {
                    for(int n=0;n<kSizeX;n++)
                    {
                        float fVal = 0;
                        if((n+j*strideX-padX)>-1&&(m+i*strideY-padY>-1)&&(n+j*strideX-padX)<=width&&(m+i*strideY-padY>-1)<=height)
                        {
                            fVal = F[c*width*height + (m+i*strideY-padX)*width+(n+j*strideX-padY)];
                        }
                        O[i*outW+j]+=K[c*kSizeX*kSizeY+m*kSizeX+n]*fVal;
                    }
                }
            }
        }
    }

    for (int i = 0; i < outH; ++i)
    {
        for (int j = 0; j < outW; ++j)
        {
            std::cout<<O[i*outW+j]<<" ";
        }
        std::cout<<std::endl;
    }
}

  • 6. 多kernel卷积
    接下来考虑多kernel卷积, 如输入为4x4x1, kernel为3x3x1. 卷积步长为1, padding为1, 输入通道为2, filters为2, 则此处的参数为:

    • width=4
    • height=4
    • channel=2
    • paddingX=1
    • paddingY=1
    • strideX=1
    • strideY=1
    • dilationX=1
    • dilationY=1
    • kSizeX=3
    • kSizeY=3
    • filters=2

    可根据卷积输出尺寸计算公式,得到:

    • outWidth=2
    • outHeight=2
    • outChannel=2
    图6 多kernel卷积

cpp代码:

void demo5()
{
    float F[] = {1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16};
    float K[] = {1,2,3,4,5,6,7,8,9,1,2,3,4,5,6,7,8,9,
                 1,2,3,4,5,6,7,8,9,1,2,3,4,5,6,7,8,9
                };
    float O[] = {0,0,0,0,0,0,0,0};

    int padX = 1;
    int padY = 1;

    int dilationX = 1;
    int dilationY = 1;

    int strideX  = 2;
    int strideY  = 2;

    int width = 4;
    int height = 4;

    int kSizeX = 3;
    int kSizeY = 3;

    int channel = 2;

    int filters = 2;

    int outH = (height+2*padY-(dilationY*(kSizeY-1)+1)) / strideY + 1;
    int outW = (width+2*padX-(dilationX*(kSizeX-1)+1)) / strideX + 1;

    int outC = filters;

    for (int oc = 0; oc < outC; ++oc)
    {
        for (int c = 0; c < channel; ++c)
        {
            for(int i=0;i<outH;i++)
            {
                for(int j=0;j<outW;j++)
                {
                    for(int m=0;m<kSizeY;m++)
                    {
                        for(int n=0;n<kSizeX;n++)
                        {
                            float fVal = 0;
                            if((n+j*strideX-padX)>-1&&(m+i*strideY-padY>-1)&&(n+j*strideX-padX)<=width&&(m+i*strideY-padY>-1)<=height)
                            {
                                fVal = F[c*width*height + (m+i*strideY-padX)*width+(n+j*strideX-padY)];
                            }
                            O[oc*outH*outW+i*outW+j]+=K[oc*outC*kSizeX*kSizeY+c*kSizeX*kSizeY+m*kSizeX+n]*fVal;
                        }
                    }
                }
            }
        }
    }

    for (int oc = 0; oc < outC; ++oc)
    {
        for (int i = 0; i < outH; ++i)
        {
            for (int j = 0; j < outW; ++j)
            {
                std::cout<<O[oc*outH*outW+i*outW+j]<<" ";
            }
            std::cout<<std::endl;
        }
        std::cout<<std::endl<<std::endl;
    }
}

  • 7. 膨胀卷积
    接下来考虑多膨胀卷积, 如输入为4x4x1, kernel为3x3x1. 卷积步长为1, padding为1, 输入通道为2, filters为2, dilate为2则此处的参数为:

    • width=4
    • height=4
    • channel=2
    • paddingX=1
    • paddingY=1
    • strideX=1
    • strideY=1
    • dilationX=2
    • dilationY=2
    • kSizeX=3
    • kSizeY=3
    • filters=2

    可根据卷积输出尺寸计算公式,得到:

    • outWidth=2
    • outHeight=2
    • outChannel=2
    图7 膨胀卷积

cpp代码:

void demo6()
{
    float F[] = {1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16};
    float K[] = {1,2,3,4,5,6,7,8,9,1,2,3,4,5,6,7,8,9,
                 1,2,3,4,5,6,7,8,9,1,2,3,4,5,6,7,8,9
                };
    float O[] = {0,0,0,0,0,0,0,0};

    int padX = 1;
    int padY = 1;

    int dilationX = 2;
    int dilationY = 2;

    int strideX  = 1;
    int strideY  = 1;

    int width = 4;
    int height = 4;

    int kSizeX = 3;
    int kSizeY = 3;

    int channel = 2;

    int filters = 2;

    int outH = (height+2*padY-(dilationY*(kSizeY-1)+1)) / strideY + 1;
    int outW = (width+2*padX-(dilationX*(kSizeX-1)+1)) / strideX + 1;

    int outC = filters;

    for (int oc = 0; oc < outC; ++oc)
    {
        for (int c = 0; c < channel; ++c)
        {
            for(int i=0;i<outH;i++)
            {
                for(int j=0;j<outW;j++)
                {
                    for(int m=0;m<kSizeY;m++)
                    {
                        for(int n=0;n<kSizeX;n++)
                        {
                            float fVal = 0;
                            if( ((n+j*strideX)*dilationX-padX)>-1 && ((m+i*strideY)*dilationY-padY)>-1&&
                               ((n+j*strideX)*dilationX-padX)<=width && ((m+i*strideY)*dilationY-padY>-1)<=height)
                            {
                                fVal = F[c*width*height + ((m+i*strideY)*dilationX-padX)*width+((n+j*strideX)*dilationY-padY)];
                            }
                            O[oc*outH*outW+i*outW+j]+=K[oc*outC*kSizeX*kSizeY+c*kSizeX*kSizeY+m*kSizeX+n]*fVal;
                        }
                    }
                }
            }
        }
    }

    for (int oc = 0; oc < outC; ++oc)
    {
        for (int i = 0; i < outH; ++i)
        {
            for (int j = 0; j < outW; ++j)
            {
                std::cout<<O[oc*outH*outW+i*outW+j]<<" ";
            }
            std::cout<<std::endl;
        }
        std::cout<<std::endl;
    }
}

穆士凝魂
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
卷积层与池化层输出的尺寸的计算公式详解
S0ybean的博客
10-08 4039
公式计算卷积（池化）输入输出个数
深度学习中的卷积操作
weixin_44394368的博客
09-26 1908
在查看卷积网络代码时，发现了各种不同的卷积操作，所以查找了一篇论文，并将其分享在这里，希望通过这篇论文对卷积操作有更加全面和系统的认识。 论文名称：A guide to convolution arithmetic for deep learning 引言 离散卷积（Discrete convolutions） 神经网络的基本原理是仿射变换：一个向量作为输入并且与一个矩阵相乘得到输出（在将结果传入非线性系统之前通常会为其添加一个偏置项），这种操作适用于图像，声音或者无序的特征集合等类型的输入，无论他们有几个
深度学习：卷积核的训练
m0_60341379的博客
10-10 1767
...
神经网络与深度学习cpp(一)
Mr_W1997的博客
01-30 722
第二章，只为理解感知机 代码较随意 隐藏一些问题，并未深究 核心计算变量名按书 较简 #include #include #include #include using namespace std; //数据集 class DataSet { private: int InputNum; int OutputNum; vector DataMap; public: Da
【转】史上最全！多图带你读懂各种常见卷积类型
XB_please的博客
09-24 7350
英文原文： A Comprehensive Introduction to Different Types of Convolutions in Deep Learning 如果你在深度学习中听说过不同类型的卷积（例如2d/3d/1x1/转置卷积/空洞卷积（ATROUS）/深度可分离卷积/深度卷积/扁平卷积/分组卷积/随机分组卷积），并且对它们的实际含义感到困惑，那么本文就是为了让你理解它们是如何...
深度学习卷积网络模型架构分析与实现.rar
11-27
在“深度学习卷积网络模型架构分析与实现”这个压缩包中，你可以找到基于Jupyter Notebook的教程，这些教程可能涵盖了以下内容： 1. **基础CNN模型**：如LeNet、AlexNet、VGG、ResNet等经典模型的介绍和实现，展示...
深度学习中的各种卷积1
08-03
卷积是深度学习中至关重要的概念，特别是在卷积神经网络（CNN）中。卷积的主要目的是提取输入数据的特征，例如图像或音频信号。本文主要介绍了四种不同类型的卷积：普通卷积、3D卷积、空洞卷积和转置卷积，以及1×1...
深度学习中的卷积神经网络系统设计及硬件实现
10-16
综上所述，深度学习中的卷积神经网络可以通过FPGA硬件实现来提升训练速度，降低计算时间。这种硬件加速策略不仅可以应用于图像识别，还可以扩展到其他需要大量并行计算的深度学习任务，如语音识别、自然语言处理等。...
深度学习中卷积神经网络的教学探讨.pdf
08-19
深度学习中卷积神经网络的教学探讨 深度学习是智能科学与技术领域的最新突破性进展，卷积神经网络是其中的一个代表性工作。文章探讨如何开展卷积神经网络的教学工作，包括教学内容的安排和教学内容之外的考虑两个...
卷积神经网络与深度学习教学.pptx
12-03
卷积神经网络（CNN）是深度学习领域的重要组成部分，它主要设计用于图像处理任务，但也可应用于音频、视频和文本等其他数据类型的分析。CNN 的核心特性在于其卷积层、池化层以及全连接层。 卷积层是CNN的核心，它的...
图解各种卷积
idol24的博客
08-27 2708
点击上方“机器学习与生成对抗网络”，关注星标获取有趣、好玩的前沿干货！本文分享自华为云社区《神经网络常用卷积总结》，原文作者：fdafadhttps://bbs.huaweicloud.c...
干货 | 卷积神经网络入门这一篇就够了
机器学习算法与Python学习
01-17 5533
关键字全网搜索最新排名【机器学习算法】：排名第一【机器学习】：排名第一【Python】：排名第三【算法】：排名第四先明确一点就是，Deep Learning是全部深度学习算法的总称，CNN是深度学习算法在图像处理领域的一个应用。第一点，在学习Deep learning和CNN之前，总以为它们是很了不得的知识，总以为它们能解决很多问题，学习了之后，才知道它们不过与其他机器学习算法如svm等相似，仍然
深度学习-图解卷积运算
weixin_42189597的博客
09-03 8917
卷积神经网络（Convolutional Neural Network，CNN）针对全连接网络 的局限做出了修正，加入了卷积层（Convolution层）和池化层（Pooling 知 层）。 CNN被广泛应用于图像识别、语音识别等各种场合，在图像识别的比赛中， 基于深度学习的方法几乎都以CNN为基础（比如，AlexNet、VGGNet、 Google Inception Net及微软的ResNet等）上。近几年深度学习大放异彩， CNN功不可没。 单通道，二维卷积运算示例： 如上图所示，红色的方框圈中的数
深度学习中的卷积方法总结
RF~or的博客
11-14 1065
1.常规的卷积 一般所说的卷积计算是用与输入有相同深度的卷积核对输入进行卷积计算，卷积计算的过程如下图所示：每层卷积核参数与输入的各层参数对应位置相乘后加和得到一个输出，卷积核在输入上进行滑动计算，有多少个卷积核就得到多少个输出。 2.可分离卷积 可分离卷积包括空间可分卷积核和深度可分卷积： 空间可分卷积： 生活中的图片一般为彩色图片，所以有三个维度：高、宽、深度。空间可分离卷积是在...
卷积神经网络卷积过程
yinxue541的博客
09-14 6476
卷积过程是卷积神经网络最主要的特征。然而卷积过程有比较多的细节，初学者常会有比较多的问题，这篇文章对卷积过程进行比较详细的解释。 1.卷积运算 首先我们需要知道什么是卷积计算，它其实是一种简单数学运算，有两个步骤：一个是矩阵内积乘法，另一个是将内积乘法的结果进行全加。 （1）矩阵内积乘法 矩阵的内积乘法非常简单，就是把两个相乘的矩阵，相同位置的元素进行乘法运算，这个时候会得到一个新的矩阵（在这里我们需要注意一下，卷积是在作矩阵内积乘法，而不是矩阵乘法）。 （2）全加计算 这个新矩阵的全部值会进行相加，然后会
【深度学习基础】卷积是如何计算的
热门推荐
Huffie博客
07-15 1万+
卷积操作其实就是每次取一个特定大小的矩阵，然后将其对输入矩阵依次扫描并进行内积的运算过程。
深度学习（一）：卷积运算
最新发布
aimat2020的博客
03-13 4755
小白文，初入深度学习的参考资料，详细介绍卷积核及卷积运算的过程
卷积过程解释
qq_27882259的博客
11-06 1483
原文https://www.cnblogs.com/shine-lee/p/9932226.html https://www.jianshu.com/p/2a0f3a4a9d1d 卷积神经网络之卷积计算、作用与思想 博客：blog.shinelee.me | 博客园 | CSDN卷积运算与相关运算在计算机视觉领域，卷积核、滤波器通常为较小尺寸的矩阵，比如3×33×3 、5...
形象理解深度学习中八大类型卷积
喜欢打酱油的老鸟
02-14 1180
https://www.toutiao.com/a6657010098780504589/ 2019-02-12 15:26:40 本文总结了深度学习中常用的八大类型的卷积，以非常形象的方式帮助你建立直觉理解，为你的深度学习提供有益的参考。 分别是单通道卷积、多通道卷积、3D卷积、1 x 1卷积、转置卷积、扩张卷积、可分离卷积、分组卷积。 单通道卷积 单通道卷积 在深度学习中，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值