CNN网络结构——池化层和全连接层

最新推荐文章于 2025-04-09 20:51:10 发布
最新推荐文章于 2025-04-09 20:51:10 发布
阅读量8.8k 收藏 35
点赞数 8
分类专栏： math

目录

池化层

为什么引入池化层

通常，卷积层的超参数设置为：输出特征图的空间尺寸等于输入特征图的空间尺寸。这样如果卷积网络里面只有卷积层，特征图空间尺寸就永远不变。虽然卷积层的超参数数量与特征图空间尺寸无关，但这样会带来一些缺点。

  1. 空间尺寸不变，卷积层的运算量会一直很大，非常消耗资源。
  2. 卷积网络结构最后是通过全连接层输出分值向量的，如果空间尺寸一直不变，则全连接层的权重数量会非常巨大，导致过拟合。
  3. 前面几层的卷积层的输出存在大量冗余，如果空间尺寸不变，则冗余会一直存在，因此需要一种技巧来减小空间尺寸。

概述

池化是一种最常用的减小空间尺寸的技巧，它可以对输入的每一个特征图独立地降低其空间尺寸，而保持深度维度不变。
首先对特征图的每个局部窗口数据进行融合，得到一个输出数据，然后采用大于1的步长扫描特征图。最常见的局部窗口尺寸是2×2，有时也会采用3×3，步长是2会去除75%的神经元，步长如果采用3，则会去除88.89%的神经元，这过于剧烈，实践中不会采用。
池化层方法：

  1. 取平均
  2. 取最大值（常用）

下图展示了池化层操作示意图，输入特征图尺寸4×4×3被降采样到了2×2×3，采取的滤波器尺寸是2，步长为2。采用最大值池化，2×2的局部区域选取最大值。

池化层中很少使用0填充，因为本身就是为了减少图像尺寸。
卷积层同样可以达到池化层的效果来减少图像尺寸，通过调大步长即可。

为什么采用最大值方法

这是因为卷积层后接ReLU激活，ReLU激活函数把负值都变为0，正值不变，所以神经元的激活值越大，说明该神经元对输入局部窗口数据的反应越激烈，提取的特征越好。用最大值代表局部窗口的所有神经元，是很合理的。最大值操作还能保持图像的平移不变性，同时适应图像的微小变形和小角度旋转。

实现过程

池化层将每个局部窗口的数据转化为小矩阵，按行堆叠成大矩阵，然后每行取最大值得到大的列向量，最后转化为3D特征图。

  1. 输入3D特征图转化为矩阵X：局部区域转化为小矩阵。比如，输入是56×56×96，局部窗口尺寸为2×2，步长为2进行池化，取输入中的2×2×96局部数据块，将其转化为尺寸为96×4的小矩阵，注意是将96维的深度向量拉伸为一个列向量，共有4个深度向量。以步长为2扫描每一个局部窗口，所以输出的宽高均为(56-2)//2+1=28，共有28×28=784个局部窗口，784×96=75264个行向量，输出矩阵X的尺寸是75264×4。
  1. 最大值池化：提取大矩阵每行的最大值，matric_data. max(axis=1,keepdims=True)，即得到每个局部窗口的最大值。在本例中，这个操作的输出是大列向量 [75264×1]。
  1. 输出新3D特征图28×28×96，大列向量的每96个元素构成输出3D特征图的一个深度向量。

全连接层

概述

如果卷积网络输入是224×224×3的图像，经过一系列的卷积层和池化层（因为卷积层增加深度维度，池化层减小空间尺寸），尺寸变为7×7×512，之后需要输出类别分值向量，计算损失函数。假设类别数量是1000（ImageNet是1000类），则分值向量可表示为特征图1×1×1000。如何将7×7×512的特征图转化为1×1×1000的特征图呢？最常用的技巧是全连接方式，即输出1×1×1000特征图的每个神经元（共1000个神经元）与输入的所有神经元连接，而不是局部连接。每个神经元需要权重的数量为7×7×512=25088，共有1000个神经元，所以全连接层的权重总数为：25088×1000=25088000，参数如此之多，很容易造成过拟合，这是全连接方式的主要缺点。

全连接层的实现方式有两种。一种方式是把输入3D特征图拉伸为1D向量，然后采用常规神经网络的方法进行矩阵乘法；另一种方式是把全连接层转化成卷积层，这种方法更常用，尤其是在物体检测中。

全连接转为卷积

全连接层和卷积层中的神经元都是计算点积和非线性激活，函数形式是一样的，唯一的差别在于卷积层中的神经元只与输入数据中的一个局部区域连接，并且采用参数共享；而全连接层中的神经元与输入数据中的全部区域都连接，并且参数各不相同。因此，两者是可能相互转化的。

  • 卷积层转换为全连接层

将不是局部区域的权重全部设为0即可。

  • 全连接层转化为卷积层

比如，一个全连接层，输入特征图是7×7×512，输出特征图是1×1×1000，这个全连接层可以等效为一个卷积层：F=7, P=0,S=1, K=1000。即将卷积核的尺寸设置为和输入特征图的空间尺寸一致，不需要0填充，也不需要滑动卷积窗口，所以输出空间尺寸为1，只有一个单独的深度向量，所以输出变成1×1×1000。

(batch,in_height,in_width,in_depth) = (8,32,48,16)
size = in_depth*in_height,in_width  #一张图片拉伸为1D的大小
in_data = np,random.randn(batch,in_height,in_width,in_depth)
matrice_data = np.zeros((batch,size))
for i in range(batch):
    matrice_data[i] = in_data[i].ravel()   #拉伸为一维
out_depth = 10 #最后分成10类
kerns = np.random.randn(size,out_depth)
bians = np.random.randn(1,out_depth)
filter_data = np.dot(matrice_data,kerns) + bians
out_data = np.maximum(0,filter_data)  #Relu激活

卷积网络的结构总结

卷积网络的3种基本模块：卷积层（CONV）、池化层（POOL，默认最大值池化）和全连接层（FC）。卷积层和全连接层后面都需紧接ReLU激活层，但必须注意的是，最后一个全连接层后面不需接ReLU激活层。

层的组合模式

卷积网络最基本的结构是：先堆叠一个或多个卷积层进行特征提取，然后接一个池化层进行空间尺寸缩小，之后重复此模式，直到空间尺寸足够小（如7×7和5×5），最后接多个全连接层，其中最后一个全连接层输出类别分值。

  • 小技巧
  1. 输入图像的空间尺寸常用的是32（CIFAR-10）、64、96（STL-10）、224（ImageNet）、384和512，这些尺寸能被2整除很多次。
  2. 卷积层使用小尺寸卷积核（3×3），步长S=1，如果必须使用大的卷积核（5×5或者7×7），通常只用在第一个卷积层中，其输入是原始图像，且仅使用一次。
  3. 池化层对特征图进行空间降采样，最常用的是2×2感受野的最大值池化，步长为2，另一个不常用的是3×3感受野，步长为2。
【第3章：卷积神经网络（CNN）——3.2卷积层、池化层、全连接层的详细介绍】
商务合作|问题讨论|交流学习 请联系作者微信，加微信请务必注明来意，博客主页有联系方式
02-14 435
卷积层，作为CNN的心脏，主要负责从输入图像中提取有用的特征信息。想象一下，你拿着一个“滑动窗口”（也就是卷积核或滤镜）在图像上滑动，这个窗口每滑动到一个位置，就与图像局部区域进行点积运算，从而提取出该区域的特征。这些特征被整理成特征图（Feature Map），用于后续的处理。池化层，紧随其后的是卷积层，主要负责对特征图进行降维，同时保留重要的特征信息。池化层通常放在卷积层之后，以减少计算量和防止过拟合。
全连接层与池化层
weixin_43445142的博客
06-23 1274
全连接层作用: 通俗易懂. 全连接层之前的作用是提取特征，全连接层的作用是分类。它把特征representation整合到一起，输出为一个值。这样做大大减少特征位置对分类带来的影响。但是，空间结构特性被忽略了，所以全连接层不适合用于在方位上找模式的任务，比如分割。 池化层： 池化层主要的作用 1.首要作用，下采样（downsamping） 2.降维、去除冗余信息、对特征进行压缩、简化网络复杂度、减少计算量、减少内存消耗等等。各种说辞吧，总的理解就是减少数量。 3.实现非线性（这个可以想一下，relu函数，是
卷积神经网络(CNN)基础
最新发布
A125679880的博客
04-09 2112
在卷积神经网络（CNN）中，softmax损失函数（也称为交叉熵损失函数）是用来衡量模型预测结果与真实标签之间的差异的损失函数。它在分类任务中被广泛使用，尤其是当输出需要解释为概率分布时。定义：Softmax损失函数是结合了Softmax激活函数和交叉熵损失的函数，用于衡量模型预测结果与真实标签之间的差异。作用作为优化目标，引导模型调整参数以最小化损失。适用于多分类任务，输出概率分布便于解释和比较。
tensorflow 1.0 学习：池化层（pooling)和全连接层(dense)
weixin_33963594的博客
06-02 577
池化层定义在 tensorflow/python/layers/pooling.py. 有最大值池化和均值池化。 1、tf.layers.max_pooling2d max_pooling2d( inputs, pool_size, strides, padding='valid', data_format='channels_last'...
池化层和全连接层
互联网知识分享
12-20 1084
在全连接层中，前一层的所有节点都连接到下一层的每个节点，这种连接方式使得全连接层能够对输入特征进行更深入的学习和提取。在上面的代码中，使用了Keras的Sequential模型，通过add方法分别添加了一个拉平层（Flatten）和两个全连接层。在上面的代码中，使用了Keras的Sequential模型，通过add方法分别添加了一个卷积层和一个最大池化层。通过以上介绍，可以对全连接层有一个更深入的理解，包括原理、参数和代码案例的应用。units：输出的维度大小，即全连接层的节点数。
深入理解CNN卷积层、池化层、全连接层
qq_40957196的博客
01-08 4万+
深入理解CNN卷积层、池化层、全连接层 文章目录深入理解CNN卷积层、池化层、全连接层卷积层(Convolution)池化层(Pooling)全连接层(Fully connected)全连接层到底什么用？首先三点：接下来再主要谈谈全连接层的意义 东拼西凑看到的各种观点，在此记录一下，谢谢各位大佬，侵删~ 卷积神经网络是通过神经网络反向传播自动学习的手段，来得到各种有用的卷积核的过程。 卷积神经...
卷积神经网络CNN——卷积层、池化层、全连接层
qq_59702185的博客
11-13 1万+
我们之前学习了全连接的神经网络，如下图： 利用全连接神经网络对图像进行处理存在以下两个问题：CNN⽹络受⼈类视觉神经系统的启发，⼈类的视觉原理：从原始信号摄⼊开始（瞳孔摄⼊像素 Pixels），接着做初步处理（⼤脑⽪层某些细胞发现边缘和⽅向），然后抽象（⼤脑判定，眼前的物体的形状，是圆形的），然后进⼀步抽象（⼤脑进⼀步判定该物体是只⼈脸）。下⾯是⼈脑进⾏⼈脸识别的⼀个示例： CNN网络主要有三部分构成：卷积层、池化层和全连接层构成。其中卷积层是负责提取图像中的局部特征；池化层是用来答复降低参数量级（降维
6. 全连接层与全局平均池化1
08-03
例如，全连接层的参数可能占整个网络参数的80%左右，这是因为它不利用空间结构信息，而是对所有特征进行线性组合。 2. 全局平均池化（Global Average Pooling）的理解： 全局平均池化是对特征图进行整体平均操作，...
【机器学习】卷积层，池化层，全连接层，BN层作用；CNN 网络参数数量的计算
weixin_37985288的博客
06-22 1万+
官方文档：https://keras.io/layers/convolutional/#zeropadding2d https://www.cnblogs.com/ymjyqsx/p/9451739.html 【搬运】conv卷积层： 1.相当于一个特征提取器来提取特征 2.提供了位置信息 3.减少了参数个数 https://blog.csdn.net/m0_37622530/articl...
卷积神经网络三类主体层的理解（重点在全连接层(已加入一些与传统图像处理的联系)）
HustQbw的博客
02-18 5029
卷积神经网络三类主体层的理解（重点在全连接层）三个部分每个部分的作用1.卷积层2.池化层（下采样池化层）3.全连接层（fully connected）（用于分类任务，在分割和检测上不适用）参考： 三个部分 ①卷积层（conv）——————>用于提取特征 ②池化层（pooling）——————>用于特征选择（也叫下采样） ③全连接层（fc（fully connected）层）———————>用于整合全局信息进行分类 每个部分的作用 1.卷积层 首先谈谈卷积层，事实上，卷积层和全连接层是可以相
激活函数和全连接层——基于Pytorch
hhh_0221的博客
05-30 9023
1、激活函数 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客： 全新的界面设计 ，将会带来全新的写作体验； 在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展示； 增加了 图片拖拽 功能，你可以
深度学习笔记（一）：卷积层+池化层+激活函数+全连接层
热门推荐
不积跬步，无以至千里！
03-22 5万+
本博客会持续更新，后面会加入各个部分的代码实现。 前沿 在图像分类以及目标定位等任务中，卷积神经网络已经得到了充分地运用。而对于常见的卷积神经网络，我们经常可以看到卷积层、池化层、激活函数、全连接层的身影。直到现在，卷积层+池化层+激活函数+全连接层的结构仍然很实用，似乎已经成为搭建卷积神经网络的基本结构。下面我将从这四个方面分别介绍。 注：通常，池化层和激活函数又归类于卷积层。这里为了讲解方便，...
CNN的池化层
咔咔响
09-02 2542
前几篇我们介绍了CNN的卷积层，今天我们补充一下CNN的池化层。传送门：卷积神经网络（CNN）卷积核的基本概况关于tensorflow与pytorch里的卷积层理解转置卷积与空洞卷积回顾池...
神经网络CNN之池化层
CFH1021的博客
05-08 8016
池化层简述池化层的分类最大/均值池化中值池化组合池化Spatial Pyramid PoolingGlobal Average/Max Pooling参考文献 简述   池化层（Pooling Layer）是CNN中常见的一种操作，池化层通常也叫做子采样（subsampling）或降采样（Downsampling），在构建CNN网络时，往往是用在卷积层之后，通过池化层来降低卷积层输出的特征维度，在有效减少网络参数的同时还可以防止过拟合现象。   说到池化操作，就会想到我们经常用的池化操作，即最大池化(Max
两分钟了解深度神经网络中的池化层、全连接层
lu_fresh_student的博客
09-16 713
两分钟了解深度神经网络中的池化层、全连接层
卷积神经网络（CNN）中的池化层（Pooling Layer）
搏博的专栏
11-19 3870
具体操作则是，基于局部相关性的思想，通过从局部相关的一组元素中进行采样或信息聚合，从而得到新的元素值。1. 自适应池化（Adaptive Pooling）：是一种灵活的池化方法，根据输入数据的特性自适应地调整池化窗口的大小和步长，以匹配特定的输出尺寸。最大池化，选择每个区域（池化层的感受野）中的最大值作为输出。绿色实线方框代表第一个感受野的位置，感受野元素集合为{1,-1,-1,-2}，在最平均池化采样的方法下。池化层的主要作用是通过减少特征图的尺寸来降低计算量，并且可以提取出特征图的主要信息。
从卷积层、激活层、池化层到全连接层深度解析卷积神经网络的原理
huanfeng_AI的博客
04-08 2132
局部连接+权值共享 全连接神经网络需要非常多的计算资源才能支撑它来做反向传播和前向传播，所以说全连接神经网络可以存储非常多的参数，如果你给它的样本如果没有达到它的量级的时候，它可以轻轻松松把你给他的样本全部都记下来，这会出现过拟合的情况。 所以我们应该把神经元和神经元之间的连接的权重个数降下来，但是降下来我们又不能保证它有较强的学习能力，所以这是一个纠结的地方，所以有一个方法就是局部连接+权值共享，局部连接+权值共享不仅权重参数降下来了，而且学习能力并没有实质的降低，除此之外还有其它的好处，下来看一下，下面
池化层-Pooling(CNN卷积神经网络)
西小庄村高伟 的博客
10-10 3406
卷积神经网络中的池化(Pooling)操作，最大池化层与平均池化层
卷积层池化层全连接层怎么画
01-23
### 绘制卷积神经网络结构图的方法 为了有效地展示卷积神经网络(CNN)的架构，包括卷积层、池化层以及全连接层，可以通过图形工具或编程库来创建可视化的表示形式。以下是几种方法： #### 使用绘图软件手动绘制 对于初学者来说，最简单的方式可能是通过像Microsoft Visio、Adobe Illustrator这样的矢量图形编辑器手工画出每一层及其之间的联系。 #### 利用Python库自动化生成图表 更高效的做法是采用专门用于机器学习模型可视化的Python包，比如`matplotlib`配合`networkx`，或者是专门为深度学习设计的`plot_model()`函数（来自Keras API），还有其他一些流行的选项如TensorBoard中的Graph Visualization功能。 下面是一个简单的例子，展示了如何使用Matplotlib和NetworkX组合起来制作一个基本版本的CNN结构图: ```python import matplotlib.pyplot as plt import networkx as nx def draw_cnn_structure(): G = nx.DiGraph() # Add nodes with labels representing different layers of a CNN. node_labels = { 'input': "Input\nLayer", 'conv1': "Convolutional\nLayer 1", 'pool1': "Pooling\nLayer 1", 'fc': "Fully Connected\nLayer" } for label in node_labels.keys(): G.add_node(label) edges = [ ('input', 'conv1'), ('conv1', 'pool1'), ('pool1', 'fc') ] G.add_edges_from(edges) pos = {'input': (0, 0), 'conv1': (-1,-2),'pool1':(-2,-4), 'fc':(0,-6)} fig, ax = plt.subplots(figsize=(8, 6)) nx.draw_networkx_nodes(G, pos, node_size=7000,node_color='lightblue') nx.draw_networkx_edges(G, pos, width=2,alpha=0.5,edge_color='black') nx.draw_networkx_labels(G, pos,labels=node_labels, font_size=12) plt.title('Simplified Structure Diagram of Convolutional Neural Network') plt.axis('off') plt.show() draw_cnn_structure() ``` 这段代码会生成一张简化版的CNN结构图，其中包含了输入层、单个卷积层、池化层以及最终的全连接层。当然，在实际应用中可能还需要考虑更多细节，例如多个卷积/池化单元堆叠的情况，或者加入批标准化(batch normalization)等额外组件[^1]。 此外，如果想要更加精确地反映特定CNN的设计，则可以根据具体需求调整上述模板，增加更多的节点代表各个子模块，并设置合适的边权重以体现数据流方向和强度。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值