【可视化3D卷积计算过程】

最新推荐文章于 2024-05-20 12:26:29 发布
最新推荐文章于 2024-05-20 12:26:29 发布
阅读量247 收藏 5
点赞数 6
分类专栏： 深度学习 文章标签： pytorch 3D卷积 nn.Conv3d 可视化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44166630/article/details/138320939
版权

目录


前言：开始处理视频数据，遇到了陌生又熟悉的3D卷积，但对其计算过程有点疑惑，网上也没找到什么可视化动画，所以研究明白并做个记录，方便日后复习。有点简化，但认真琢磨一下图片和代码肯定能看明白：）

1. 可视化过程

3D卷积可以用来处理视频输入，对于图片来讲，shape为：[C_in, H, W]。而视频多了时间这一维度，因此视频的shape为：[C_in, D, H, W]，其中D为帧数（frame），比如一条视频有10帧，则D=10。（以上都忽略了batch size N）

假如我们现在的输入的视频shape为：[3, 7, 4, 4]。即：

input_channelframeHW
3744

kernel shape为：[5, 3, 2, 2, 2]

output_channelinput_channelkernel_Dkernel_Hkernel_W
53222

在这里插入图片描述

计算过程可视化如下：

在这里插入图片描述
在这里插入图片描述
output shape为：[5, 6, 3, 3]，其中：

output_channeloutput_Doutput_Houtput_W
5633

2. 代码验证

import torch
import torch.nn as nn

N, C_in, D, H, W = 1, 3, 7, 4, 4
C_out = 5
m = nn.Conv3d(in_channels=C_in, out_channels=C_out, kernel_size=2, stride=1, bias=False)
inputs = torch.zeros(N, C, D, H, W)

m.weight = nn.Parameter(torch.ones(C_out, C_in, 2, 2, 2))

inputs[:, 0, :, :, :] = torch.ones(D, H, W)
inputs[:, 1, :, :, :] = torch.ones(D, H, W) * 2
inputs[:, 2, :, :, :] = torch.ones(D, H, W) * 3

output = m(inputs)
print(inputs, inputs.shape)

"""
tensor([[[[[1., 1., 1., 1.],
           [1., 1., 1., 1.],
           [1., 1., 1., 1.],
           [1., 1., 1., 1.]],

          [[1., 1., 1., 1.],
           [1., 1., 1., 1.],
           [1., 1., 1., 1.],
           [1., 1., 1., 1.]],

          [[1., 1., 1., 1.],
           [1., 1., 1., 1.],
           [1., 1., 1., 1.],
           [1., 1., 1., 1.]],

          [[1., 1., 1., 1.],
           [1., 1., 1., 1.],
           [1., 1., 1., 1.],
           [1., 1., 1., 1.]],

          [[1., 1., 1., 1.],
           [1., 1., 1., 1.],
           [1., 1., 1., 1.],
           [1., 1., 1., 1.]],

          [[1., 1., 1., 1.],
           [1., 1., 1., 1.],
           [1., 1., 1., 1.],
           [1., 1., 1., 1.]],

          [[1., 1., 1., 1.],
           [1., 1., 1., 1.],
           [1., 1., 1., 1.],
           [1., 1., 1., 1.]]],


         [[[2., 2., 2., 2.],
           [2., 2., 2., 2.],
           [2., 2., 2., 2.],
           [2., 2., 2., 2.]],

          [[2., 2., 2., 2.],
           [2., 2., 2., 2.],
           [2., 2., 2., 2.],
           [2., 2., 2., 2.]],

          [[2., 2., 2., 2.],
           [2., 2., 2., 2.],
           [2., 2., 2., 2.],
           [2., 2., 2., 2.]],

          [[2., 2., 2., 2.],
           [2., 2., 2., 2.],
           [2., 2., 2., 2.],
           [2., 2., 2., 2.]],

          [[2., 2., 2., 2.],
           [2., 2., 2., 2.],
           [2., 2., 2., 2.],
           [2., 2., 2., 2.]],

          [[2., 2., 2., 2.],
           [2., 2., 2., 2.],
           [2., 2., 2., 2.],
           [2., 2., 2., 2.]],

          [[2., 2., 2., 2.],
           [2., 2., 2., 2.],
           [2., 2., 2., 2.],
           [2., 2., 2., 2.]]],


         [[[3., 3., 3., 3.],
           [3., 3., 3., 3.],
           [3., 3., 3., 3.],
           [3., 3., 3., 3.]],

          [[3., 3., 3., 3.],
           [3., 3., 3., 3.],
           [3., 3., 3., 3.],
           [3., 3., 3., 3.]],

          [[3., 3., 3., 3.],
           [3., 3., 3., 3.],
           [3., 3., 3., 3.],
           [3., 3., 3., 3.]],

          [[3., 3., 3., 3.],
           [3., 3., 3., 3.],
           [3., 3., 3., 3.],
           [3., 3., 3., 3.]],

          [[3., 3., 3., 3.],
           [3., 3., 3., 3.],
           [3., 3., 3., 3.],
           [3., 3., 3., 3.]],

          [[3., 3., 3., 3.],
           [3., 3., 3., 3.],
           [3., 3., 3., 3.],
           [3., 3., 3., 3.]],

          [[3., 3., 3., 3.],
           [3., 3., 3., 3.],
           [3., 3., 3., 3.],
           [3., 3., 3., 3.]]]]])

shape:
torch.Size([1, 3, 7, 4, 4])
"""

print(output, output.shape)

"""
tensor([[[[[48., 48., 48.],
           [48., 48., 48.],
           [48., 48., 48.]],

          [[48., 48., 48.],
           [48., 48., 48.],
           [48., 48., 48.]],

          [[48., 48., 48.],
           [48., 48., 48.],
           [48., 48., 48.]],

          [[48., 48., 48.],
           [48., 48., 48.],
           [48., 48., 48.]],

          [[48., 48., 48.],
           [48., 48., 48.],
           [48., 48., 48.]],

          [[48., 48., 48.],
           [48., 48., 48.],
           [48., 48., 48.]]],


         [[[48., 48., 48.],
           [48., 48., 48.],
           [48., 48., 48.]],

          [[48., 48., 48.],
           [48., 48., 48.],
           [48., 48., 48.]],

          [[48., 48., 48.],
           [48., 48., 48.],
           [48., 48., 48.]],

          [[48., 48., 48.],
           [48., 48., 48.],
           [48., 48., 48.]],

          [[48., 48., 48.],
           [48., 48., 48.],
           [48., 48., 48.]],

          [[48., 48., 48.],
           [48., 48., 48.],
           [48., 48., 48.]]],


         [[[48., 48., 48.],
           [48., 48., 48.],
           [48., 48., 48.]],

          [[48., 48., 48.],
           [48., 48., 48.],
           [48., 48., 48.]],

          [[48., 48., 48.],
           [48., 48., 48.],
           [48., 48., 48.]],

          [[48., 48., 48.],
           [48., 48., 48.],
           [48., 48., 48.]],

          [[48., 48., 48.],
           [48., 48., 48.],
           [48., 48., 48.]],

          [[48., 48., 48.],
           [48., 48., 48.],
           [48., 48., 48.]]],


         [[[48., 48., 48.],
           [48., 48., 48.],
           [48., 48., 48.]],

          [[48., 48., 48.],
           [48., 48., 48.],
           [48., 48., 48.]],

          [[48., 48., 48.],
           [48., 48., 48.],
           [48., 48., 48.]],

          [[48., 48., 48.],
           [48., 48., 48.],
           [48., 48., 48.]],

          [[48., 48., 48.],
           [48., 48., 48.],
           [48., 48., 48.]],

          [[48., 48., 48.],
           [48., 48., 48.],
           [48., 48., 48.]]],


         [[[48., 48., 48.],
           [48., 48., 48.],
           [48., 48., 48.]],

          [[48., 48., 48.],
           [48., 48., 48.],
           [48., 48., 48.]],

          [[48., 48., 48.],
           [48., 48., 48.],
           [48., 48., 48.]],

          [[48., 48., 48.],
           [48., 48., 48.],
           [48., 48., 48.]],

          [[48., 48., 48.],
           [48., 48., 48.],
           [48., 48., 48.]],

          [[48., 48., 48.],
           [48., 48., 48.],
           [48., 48., 48.]]]]], grad_fn=<SlowConv3DBackward0>)

shape:
torch.Size([1, 5, 6, 3, 3])
"""

48怎么来的？

2x2x2x1 + 2x2x2x2 + 2x2x2x3 = 48

SinHao22
关注
  • 6
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
PyTorch可视化理解卷积神经网络
02-24
本文来自于segmentfault，文章使用图片加代码的形式讲解CNN网络，并对每层的输出进行可视化。如今，机器已经能够在理解、识别图像中的特征和对象等领域实现99％级别的准确率。生活中，我们每天都会运用到这一点，...
三维CNN：收集一些最近的3d卷积网络PointNet++
wishchinYang的专栏
03-22 9975
受限于点云本身的无序性，不同设备在不同位置扫描物体所获得的数据不尽相同，数据难以通过端到端方法来处理；点云本身也面临数据缺失的问题，比如被扫描模型往往会被遮挡。 针对无序点云数据的深度学习方法研究，目前进展还相对缓慢。在 CVPR 2017 上，斯坦福大学提出的 PointNet 是第一种直接处理无序点云数据的深度神经网络。团队通过在每个点训练一个 MLP，把每个点投...
3D 可视化，卷积、池化清清楚楚！网友：终于能看懂神经网络到底在干啥了......
AI蜗牛车
01-22 343
行早 发自 凹非寺量子位 | 公众号 QbitAI神经网络在工作的时候，里面到底是什么样？为了能透视这个“AI黑箱”中的过程，加拿大蒙特利尔一家公司开发一个3D可视化工具Zetane En...
3维可视化卷积神经网络
不积跬步，无以致千里；不积小流，无以成江海
09-02 5089
http://scs.ryerson.ca/~aharley/vis/conv/
DL之CNN：模型可解释性之卷积神经网络算法的卷积原理可视化——CNN网络的3D可视化(LeNet-5为例可视化)
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
03-20 4494
DL之CNN：模型可解释性之卷积神经网络算法的卷积原理可视化——CNN网络的3D可视化(LeNet-5为例可视化)
通过Pytorch代码可视化理解卷积神经网络
AI公园
11-11 1000
本文代码地址：https://github.com/AINewHorizon/visualising-cnns机器在理解和识别图像中的特征和对象方面已经达到了99％的准确度。智能手机可以...
理解3d卷积conv3d
LIWEI940638093的博客
12-14 1915
无论是conv3d还是conv2d,不同的通道都表示不同的特征,都是独立于卷积核的构建的,也不会是卷积的方向;卷积都是分别在不同通道上进行的,最后将所有通道的卷积结果相加.通道数即为卷积核的个数.
神经网络可视化有3D版本了，美到沦陷！（已开源）
数据派THU
09-19 312
本文经AI新媒体量子位（公众号 ID: QbitAI）授权转载，转载请联系出处本文约1700字，建议阅读9分钟本文介绍了关于神经网络可视化的3D版本。做计算机视觉，离不开CNN。可是，卷积、池化、Softmax……究竟长啥样，是怎样相互连接在一起的？对着代码凭空想象，多少让人有点头皮微凉。于是，有人干脆用Unity给它完整3D可视化了出来。还不光是有个架子，训练过程也都呈现得明明白白。比如随着ep...
3d卷积神经网络应用,3d可视动态神经检测
m0_54846070的博客
09-24 1524
脉冲神经网络 （SNN-Spiking Neuron Networks) 经常被誉为第三代人工神经网络。第一代神经网络是感知器，它是一个简单的神经元模型并且只能处理二进制数据。第二代神经网络包括比较广泛，包括应用较多的BP神经网络。但是从本质来讲，这些神经网络都是基于神经脉冲的频率进行编码( rate coded）。脉冲神经网络，其模拟神经元更加接近实际，除此之外，把时间信息的影响也考虑其中。
卷积神经网络感受野计算指南
小白学视觉
07-23 459
点击上方“小白学视觉”，选择加"星标"或“置顶” 重磅干货，第一时间送达作者：Dang Ha The Hien编译：ronghuaiyang导读之前分享过一篇文章，是关于感受野的，今天这篇文章是专门讲解如何计算感受野的，可以和之前那篇结合起来看，之前那篇文章我也再推送一次给大家。感受野可能是卷积神经网络(CNNs)中最重要的概念之一，值得更多的关注。所有最先进的物体识别方...
3D卷积论文阅读与代码复现：Learning Spatiotemporal Features with 3D Convolutional Networks
贵在坚持
05-04 7667
前言 最近由于一些必要的需求，要学习3D卷积网络的相关用法和实现，学习过程中不可避免要阅读相关的论文，其中这篇Learning Spatiotemporal Features with 3D Convolutional Networks是最值得研究的一篇相关论文之一，在学习的时候做好相关笔记以便后面遗忘时候快速捡起来。 摘要（copy） 提出了一种基于大尺度监督视频数据集的深度三维卷积网络学习时空...
卷积神经网络过程可视化
03-11
卷积神经网络过程可视化方面的论文，非常详细，香港科技大学最新研究成果
实验三MATLAB计算结果可视化和卷积操作.doc
11-15
实验三MATLAB计算结果可视化和卷积操作.doc
可视化理解卷积神经网络
11-12
我们介绍一种新颖的可视化技术，可以深入了解中间要素图层的功能和分类器的操作。基于这些可视化的决断，使我们能够找到比Krizhevsky等人的模型更好的架构。在ImageNet分类基准数据集上，我们也进行消融研究，以发现...
Colab/PyTorch - 006 Mask RCNN Instance Segmentation
lida2003的专栏
05-17 668
总的来说，简单应用通用模型来解决一些应用类问题，并不复杂。难点在于有效数据的收集，标记，以及特殊应用模型的建模以及学习。好在，后面我们将会面对的实际问题，都有比较好的算法，比如：Yolo算法等。
深度学习之基于Pytorch+PyQt5+ResNet手写数字识别
qq1744828575的博客
05-20 180
一、项目目标该项目的核心目标是开发一个能够准确识别手写数字的系统。通过使用Pytorch深度学习框架和ResNet神经网络架构，系统可以学习从手写数字图像中提取特征并进行分类，实现对手写数字的自动识别。二、项目组成深度学习模型：项目采用Pytorch深度学习框架构建基于ResNet的神经网络模型。ResNet（残差网络）是一种先进的神经网络架构，通过引入残差连接解决了深度神经网络在训练过程中可能出现的梯度消失或梯度爆炸问题，使得网络可以更加深入地学习数据的特征。
pytorch使用gpu训练模型
最新发布
njh1147394013的博客
05-20 82
安装gpu版本pytorch
深度学习之基于Pytorch+PyQt5+VGG手写数字识别系统
qq1744828575的博客
05-20 453
一、项目背景与目标随着人工智能技术的快速发展，手写数字识别技术已经广泛应用于各个领域，如金融、教育、医疗等。为了提高手写数字识别的准确性和效率，本项目采用深度学习技术，特别是Pytorch深度学习框架，结合PyQt5构建图形用户界面（GUI），并使用VGG（Visual Geometry Group）神经网络模型，实现一个高效、准确的手写数字识别系统。二、系统组成Pytorch深度学习框架：Pytorch是一个开源的深度学习框架，具有简单易用、灵活高效的特点。
深度学习之基于Pytorch的昆虫分类识别系统
qq1744828575的博客
05-17 460
一、项目背景昆虫分类识别是生态学、农业和生物多样性保护等领域的重要任务。然而，传统的昆虫分类方法依赖于专家的经验和知识，效率低下且容易出错。随着深度学习技术的快速发展，基于卷积神经网络（CNN）的图像分类方法被广泛应用于昆虫分类识别中。本项目旨在利用PyTorch深度学习框架，构建一个高效、准确的昆虫分类识别系统，实现对昆虫图像的自动分类和识别。二、技术组成PyTorch框架：PyTorch是一个开源的深度学习框架，具有简洁易用的API和强大的计算能力。
svg可视化图卷积神经网络
11-04
SVG（可缩放矢量图形）是一种XML（可扩展标记语言）标准，用于描述二维矢量图形。图卷积神经网络（Graph Convolutional Neural Network，GCN）是一种适用于图形数据的深度学习模型。 在可视化图卷积神经网络中，SVG可以用来展示GCN模型的图形结构以及模型在数据上的表现。通过使用SVG，我们可以以可定制的方式绘制和可视化图卷积神经网络中的节点和边。在绘制节点时，可以使用不同的形状、颜色和大小来表示节点的不同特征或类别。通过这种方式，我们可以直观地了解模型在不同数据上的表现。 此外，SVG还可以用来展示GCN模型的学习过程。例如，我们可以将不同层次的权重和偏差绘制成图形，以便观察它们在训练过程中的变化。通过可视化这些变化，我们可以更好地了解模型的学习过程和性能。 总之，SVG可视化图卷积神经网络是将GCN模型的结构和表现以可视化的方式展示出来。这种可视化方法可以帮助我们更好地理解和分析图卷积神经网络的工作原理和性能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

SinHao22

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值