深度学习与神经网络(六)——卷积神经网络CNN(理解卷积神经网络的作用 & 局部相关性的共享机制 & nn.Conv2d & F.conv2d)

最新推荐文章于 2024-10-15 16:06:58 发布
最新推荐文章于 2024-10-15 16:06:58 发布
阅读量1.7k 收藏 7
点赞数
文章标签： 深度学习 神经网络 卷积神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hxxjxw/article/details/106165155
版权

图像的色彩存储的时候是0-255，但我们做deeplearning的时候一般都是在0-1

 

理解卷积神经网络的作用

在我们之前说到的在80年代，处理一个需要1.6M的MNIST数据集都很困难

当时的科学家就想了一个办法

借鉴人眼的机制    receptive field感受野

当小孩子一眼看到桌子上的时候，他会被桌子上的蛋糕所吸引，因此他的视野里面，虽然说整个视野都能看得到，但第一眼看到的时候，可能是看到的是这个蛋糕，忽略了旁边的东西。当他慢慢回过神来以后，他才开始去关注旁边的一些事物。所以人眼的这样的机制就是一个局部相关性的属性。

当我们看一个风景的时候，我们不是一瞬间把所有风景都纳入眼底的，我们是一下子看一部分，然后有一个不自觉的扫描的过程，只不过因为时间太短了。然后我们把所有的信息综合在一起了，所以我们会觉得看到的是所有的风景，而实际上就是有局部相关性机制的，这种局部相关性我们叫做感受野。

因此当时的计算机学家在80年代就提出了模仿人眼的局部相关性的机制，提出了卷积神经网络。

卷积指的是局部相关性

 

一次感受的是一个小方块，而不是整个图片的大区间

小窗口移动的时候，权值是共享的

权指共享是什么意思呢

就是这个小窗口会扫过整个大的图片，扫的时候是使用的相同的参数，就是小窗口的权指参数是不变的，这就叫做weight sharing

 

拿LeNet5为例，这就是一个卷积神经网络，也就是使用了权指共享的网络

一共5层，它的参数量大概是60K

我们之前说的做MNIST的全连接网络是390K，它还是4层的

LeNet5的参数量是它的1/6

 

局部相关性的共享机制

假设右边这一层是256个点

全连接网络的时候，对于每一个点，都是乘以28*28=784，也就是跟前一层有784根线连接

现在卷积神经网络，对于每个点，只用乘以小窗口的3*3=9，跟前一层只有9根线连接

得到的每个点使用的参数量大大减少

因为它只考虑了跟他局部相关的位置的属性，跟他太远的一些点它没有考虑，都断开了

 

线性全连接网络 vs  卷积神经网络

左图的一个点的连线与右图的一个点的连线(可以也选右图的黑点比较，都是黑)，就可以很形象的看出其参数量的差距了

通过这种方式，我们卷积层的权指的数量会成倍的减少，但仍然考虑到了整个图片的权指的信息。既考虑到整个的属性，又照顾到了跟它局部相关的点

 

卷积得到的图片叫feature map，因为不同的卷积核会对应不同的feature，有锐化、模糊、边缘检测等等

 

卷积操作

 重叠越多，值越大

 

卷积神经网络

卷积得到的图片比原图要小

在形状等方面是原图的近似

如果我们在周围补0的话，可以得到28*28的，这就叫做padding操作

 

kernel卷积核可以理解是观察的视角

用边缘检测的卷积核得到的feature map就是边缘检测的，用模糊的卷积核得到的feature map就是模糊的

用边缘检测的视角得到的feature map就是边缘检测的，用模糊的视角得到的feature map就是模糊的

 

多kernel核

加入我们的原来图像是(1,28,28)，即一个通道，图像尺寸是28*28

卷积核是（7，1，3，3），即由7个核，会得到7个feature map

最后得到的结果是 (7,26,26) ，卷积得到的图像的size会比原图小一些

即这里是7层

 

多核卷积运算的参数对应关系

one kernel的第一个3是与原图有3个通道对应的

bias的数量=kernel的数量

 

卷积神经网络的叠加

底层的feature map观察的角度是一些底层的特征，比如观察车的角度、边缘

第二次观察到角度是一些小维的概念，比如车的圆形、弧形、正方形

再高层就是一些更高维的概念，比如车有没有轮子、有没有玻璃

 

每一层都在前一层提取的特征上提取出更高维的特征

 

pytorch实现卷积神经网络

nn.Conv2d

nn.Conv2d(1,3,kernel_size=3,stride=1,padding=0)

第一个1是input channel,就是输入图像的通道数

第二个3是指卷积核的数量，也就是out_channel

所以input就是(1,28,28)， kernel是(3,1,3,3)

调用一次layer.forward会直接完成一次卷积的前向运算

 

调整一下stride步长和padding参数

 

但是还是不推荐调用forward函数，推荐直接使用layer(x), 这相当于调用了__call__函数，里面封装了一些高级特性

 

 

F.conv2d

明白一个概念，在卷积神经网络中，权重weight就是我们的卷积核

 

hxxjxw
关注
AI人工智能深度学习算法：卷积神经网络的原理与应用
AI天才研究院
04-23 553
AI人工智能深度学习算法：卷积神经网络的原理与应用 1. 背景介绍 1.1 人工智能与深度学习的兴起 人工智能(Artificial Intelligence, AI)是当代科技发展的热点领域之一,旨在使机器能够
卷积神经网络 (CNN) 原理与代码实例讲解
AI架构设计之禅
09-01 1602
卷积神经网络 (CNN) 原理与代码实例讲解 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 1. 背景介绍 1.1 问题的由来 卷积神经网络（Convol
【论文泛读30】基于多层次注意CNN的关系分类
scu-liu的博客
03-22 339
贴一下汇总贴：论文阅读记录 论文链接：《Relation Classification via Multi-Level Attention CNNs》 一、摘要 在众多试图从文本中挖掘结构化事实的信息抽取系统中，关系分类是一个至关重要的组成部分。我们提出了一种新的卷积神经网络结构来完成这项任务，它依靠两个层次的注意力来更好地识别异构环境中的模式。这种体系结构允许从特定于任务的标记数据中进行端到端的学习，而不需要外部知识，如显式的依赖结构。实验表明，我们的模型优于以前最先进的方法，包括那些依赖于更丰富形式的先
卷积神经网络通俗理解-人工智能深度学习入门
Java_college的博客
12-21 3971
导读：书山有路勤为径，学海无涯苦作舟 AI：让机器展现出人类智力 机器学习：抵达AI目标的一条路径 深度学习：实现机器学习的技术 卷积神经网络（Convolutional Neural Networks, CNN）是一类包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks），是深度学习（deep learning）的代表算法之一 。卷积神经网络具有表征学习（representation learning）能力，能够按其阶层结构.
卷积神经网络（CNN）：深度学习中的视觉奇迹
2401_84670644的博客
09-22 1914
在深度学习的广阔领域中，卷积神经网络（Convolutional Neural Networks, CNNs）无疑是处理图像和视频数据的一大利器。自20世纪90年代提出以来，CNN已经从简单的图像识别任务中脱颖而出，广泛应用于计算机视觉的各个领域，包括但不限于图像分类、目标检测、图像分割、人脸识别、视频分析等。本文将带你深入了解CNN的基本原理、核心组件以及它在现实世界中的应用。
【卷积神经网络】卷积神经网络（Convolutional Neural Networks, CNN）基础
__阿健__的博客
12-16 5810
卷积神经网络（Convolutional Neural Networks, CNN），是一种 针对图像数据 的特殊神经网络。 图像数据的维数很高，比如 1,000×1,000大小的彩色图像对应于1000×1000×3=300w 维特征。如果继续沿用 常规的全连接网络，会导致 巨大的参数量【第一个隐层中每一个单独的全连接神经元就有300w权重】。大参数量意味着 繁重的计算，而更重要的是，会有 更高的过拟合风险。
局部相关性和权值共享
weixin_42193719的博客
01-14 1830
局部相关性和权值共享： 局部相关性： 目的：为了避免全连接网络的参数集过大的缺点。 ​ 以图片为例，对于2D图片通常在进入全连接层之前将矩阵数据打平成1D向量，然后每个像素点与每个输出节点两两相连。网络层中，每个输出节点都与所有的输入节点相连，这种稠密的（Dense）连接方式使得全连接层的参数量大，计算代价高，全连接层也叫做稠密层（Dense Layer），当全连接层的激活函数为空时...
多视图完整空间与局部相关性分析
...
06-30 682
多视图完整空间与局部相关性分析（MISLC）是一种无监督的多视图学习方法，旨在为多视图数据，并且揭示这些特征表示间的局部相关性信息。该方法通过考虑每个原始样本的多视图特征集合，构建基于集合的近邻图，并最大化这些潜在特征表示间的相关性，从而提高了模型的分类性能。以下是MISLC方法的详细介绍，包括计算步骤和涉及的公式。
深度学习实战94-基于图卷积神经网络GCN模型的搭建以及在金融领域的场景
最新发布
weixin_42878111的博客
10-15 377
随着大数据时代的到来，复杂网络数据的处理成为研究热点，尤其是在金融领域，关系数据的分析对于风险评估、信贷审批、投资策略制定等方面至关重要。传统的机器学习方法往往基于向量化的输入，难以直接处理图结构数据中的丰富关联信息。在此背景下，图神经网络（Graph Neural Networks, GNN）应运而生，其中图卷积网络（Graph Convolutional Networks, GCN）作为GNN的一个重要分支，自2016年Thomas N. Kipf等人提出以来，迅速成为处理图数据的标准工具之一。
卷积神经网络的注意力机制
AGI通用人工智能之禅
04-03 932
近年来，深度学习技术在计算机视觉、自然语言处理等领域取得了突破性进展，其中卷积神经网络（Convolutional Neural Network, CNN）凭借其强大的特征提取能力在图像识别、目标检测等任务中表现出色。然而，传统的CNN模型通常关注全局信息，缺乏对局部关键信息的关注能力，这限制了其在处理复杂场景和任务时的性能。为了解决这个问题，研究人员将注意力机制（Attention Mechanism）引入到CNN中，使其能够更加关注图像或特征图中的重要区域，从而提高模型的性能。
自然语言处理之语音识别：Convolutional Neural Networks (CNN)：深度学习与神经网络基础
zhubeibei168的博客
10-14 893
卷积神经网络（Convolutional Neural Networks, CNN）最初设计用于处理图像数据，通过卷积层捕捉局部特征。在自然语言处理（NLP）中，CNN被用于处理文本数据，通过卷积操作捕捉文本中的局部特征，如短语或词组，从而理解文本的结构和语义。
神经网络参数相关性测试,神经网络是参数模型吗
kfc67269的博客
08-30 553
其次，当时的电子技术工艺水平比较落后，主要的元件是电子管或晶体管，利用它们制作的神经网络体积庞大，价格昂贵，要制作在规模上与真实的神经网络相似是完全不可能的；卷积神经网络有以下几种应用可供研究：1、基于卷积网络的形状识别物体的形状是人的视觉系统分析和识别物体的基础，几何形状是物体的本质特征的表现，并具有平移、缩放和旋转不变等特点，所以在模式识别领域，对于形状的分析和识别具有十分重要的意义，而二维图像作为三维图像的特例以及组成部分，因此二维图像的识别是三维图像识别的基础。如盲人的听觉和触觉非常灵敏；...
PyTorch计算局部相关性矩阵
画心
09-25 3595
文章目录问题说明问题分析实现过程 代码文档：https://github.com/lartpang/mypython/blob/master/2019-09-25%E8%AE%A1%E7%AE%97%E5%B1%80%E9%83%A8%E7%9B%B8%E5%85%B3%E6%80%A7%E7%9F%A9%E9%98%B5/%E8%AE%A1%E7%AE%97%E5%B1%80%E9%83%A8...
深度学习之卷积神经网络（1）什么是卷积
weixin_43360025的博客
10-01 948
深度学习之卷积神经网络（1）什么是卷积1. 全连接网络的问题2. 局部相关性3. 权值共享4. 卷积运算 1. 全连接网络的问题  首先我们来分析全连接网络存在的问题。考虑一个简单的4层全连接层网络，输入是28×2828×2828×28打平后为784节点的手写数字图片向量，中间三个隐藏层的节点数都是256，输出层的节点数是10，如图所示:  通过TensorFlow快速地搭建此网络模型，添加4个Dense层，并使用Squential容器封装为一个网络对象: import tensorflow as t
卷积神经网络的理解与解释（核函数，通道）
jackylzh的专栏
08-14 1016
卷积神经网络的解释，核函数，通道。介绍了卷积神经网络模型的核概念，通道，池化与采样，卷积等等一些概念
卷积神经网络（CNN）特点之局部连接
qq_42212501的博客
12-04 5310
卷积神经网络（Convolutional Neural Network,CNN）具有四个特点：局部连接、权值共享、池化操作及多层结构。其局部连接是相对于多层感知机（Multilayer Perceptron,MLP）的全连接特点说的。所以要介绍局部连接，我们首先要先提一下多层感知机，之后再引入CNN局部连接的原理，及具体表现。多层感知机（Multilayer Perceptron,MLP）是由输入层、隐含层（一层或多层）及输出层构成的神经网络模型，可以解决单层感知器不能解决的线性不可分问题。下面是含有2个隐
【算法岗面试知识点】CNN、梯度下降、损失函数、过拟合
qq_36037953的博客
08-19 7612
CNN 1 卷积神经网络与传统多层神经网络对比 传统意义上的多层神经网络是只有输入层、隐藏层、输出层。 卷积神经网络CNN，在原来多层神经网络的基础上，加入了更加有效的特征学习部分，具体操作就是在原来的全连接的层前面加入了部分连接的卷积层与池化层。卷积神经网络出现，使得神经网络层数得以加深，深度学习才能实现。 通常所说的深度学习，一般指的是这些CNN等新的结构以及一些新的方法（比如新的激活函数Relu等），解决了传统多层神经网络的一些难以解决的问题 神经网络(neural networks)的基
CNN两大神器：局部感知、参数共享
Trista2hong的博客
03-18 1万+
CNN两大神器：局部感知、参数共享 CNN并不是所有上下层神经元都能直接相连，而是通过“卷积核”作为中介。同一个卷积核在所有图像内都是共享的，图像通过卷积操作后仍然保留原来的位置关系。 复合多个“卷积层”和“采样层”对输入信号进行加工，然后再连接层实现与输出目标之间的映射。多层的目的：一层卷积学到的特征往往是局部的，层数越高，学到的特征就越全局化。 局部感知 一般认为图像的空间联系是局部的像...
卷积神经网络CNN---权值共享
热门推荐
m0_37957160的博客
03-12 1万+
1、权值共享的由来： 权值共享这个词最开始其实是由LeNet5模型提出来，在1998年，LeCun发布了LeNet网络架构，就是下面这个： 虽然现在大多数的说法是2012年的AlexNet网络是深度学习的开端，但是CNN的开端最早其实可以追溯到LeNet5模型，它的几个特性在2010年初的卷积神经网络研究中被广泛的使用——其中一个就是权值共享。 2、什么是权值共享？ 所谓权值共享就是说给定一张输入图片，用一个卷积核来卷积这张图，卷积核里的值叫做权重，这张图的每个位置是被同一个卷积核扫的，即卷积的
从线性到深度：探索分类器演进与CNN应用
然而，当数据的特征之间存在空间结构或局部相关性时，传统的神经网络可能不足以高效捕捉，这时卷积神经网络（CNN）登场。CNN是一种专门设计用于处理图像、视频和语音等数据的神经网络架构，通过卷积层、池化层和全...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值