卷积神经网络基础知识介绍

已于 2024-07-05 10:47:41 修改
阅读量52 收藏
点赞数
分类专栏： 图像分类模型 文章标签： cnn 深度学习 神经网络
于 2023-12-26 11:37:01 首次发布
原文链接：https://www.bilibili.com/video/BV1b7411T7DA/?spm_id_from=333.999.0.0&vd_source=da39f9def79b38beabfc061cf4ff699c
版权

参考链接：内容：卷积神经网络基础。来源：B站up主：霹雳吧啦Wz；B站up主：如果我是泡橘子

卷积神经网络

CNN(Convolutional Neural Network)

它的雏形是1998年LeCun的LeNet网络结构，卷积神经网络发展历程中的第一个卷积神经网络

只要包含了卷基层的神经网络都可以理解为卷积神经网络

  • Convolutions：卷积层
  • Subsampling：下采样层
  • Full connection：全连接层

卷积神经网络的发展

卷积神经网络无处不在

  • Classification
  • Retrieval
  • Detection
  • Segmentation

全连接层

全连接层就是由许许多多的神经元共同连接得来的

神经元

  • x1，x2，x3是这个神经元的三个激励，w1，w2，w3是这三个激励对应的权重
  • -1是这个神经元的偏置

BP神经网络

如果将神经元按列进行排列，列与列之间进行全连接，就得到一个BP神经网络

  • 从左到右的正向传播过程中能够得到一个输出值，将这个输出值和所期望的输出值进行对比就能得到一个误差值
  • 通过计算每个节点的偏导数就能够计算得到每个节点的误差梯度
  • 将得到的损失值反向应用到损失梯度上，就达到了误差的反向传播过程

实例：利用BP神经网络做车牌数字识别

1、首先读入一张彩色的RGB图像，每一个像素里面都包含3个值（RGB分量）

  • 首先将它进行灰度化，每个像素值就只剩下一个分量了
  • 再进行二值化处理，得到一个黑白图像

2、用一个5行3列的滑动窗口在二值化后的黑白图像上进行滑动，每滑动到一个地方就计算这个滑动窗口中白色的像素占整个滑动窗口所覆盖的像素比例

  • 当滑动窗口滑动到到最右边的时候，此时列数不够了，可以进行补零处理，也可以进行一个判断，当滑动窗口快越界的时候就暂时把它变成一个5行2列的滑动窗口
  • 通过这个方法遍历整个图像就得到一个5*5的矩阵

3、将所得到的5*5的矩阵按行进行展开，并将其拼接成一个行向量（1行25列），这样就可以把这个行向量当成输入神经网络的输入层

4、输入层有了之后，再看输出层。one-hot编码是常用的对标签进行编码的方式

  • 上图展示了0-9每个数字对应的one-hot编码，没有重复

5、有了输入和输出之后，就可以对神经网络进行训练了。在实际训练过程中，可以将输入层的输入节点数设为25，将输出层的输出节点数设为10，中间的隐藏层按实际情况进行设置

卷积层

卷积层是卷积神经网路中独特的网络结构

卷积：一个滑动窗口在特征图上进行滑动，并计算（将卷积核上的值与特征图上的值对应相乘，再进行相加，就得到最后矩阵中的一个值，每滑动一步计算一个值，最终得到卷积结果）

卷积的计算方式



卷积的目的就是为了进行图像的特征提取

卷积的特性

  • 拥有局部感知机制：以滑动窗口的形式在特征图上进行滑动计算，所以具有局部感知能力
  • 权值共享：滑动过程中，卷积核的值不会发生变化，所以又具有权值共享的特性

权值共享的优势（对比BP神经网络）

  • 这里的参数指的是神经元的权重
  • 权值的共享使得卷积神经网络的参数个数大幅度减少

卷积的过程



实际应用过程中往往是对多维的特征矩阵进行卷积操作

卷积核的深度要和输入特征矩阵一致（这里的深度指的是channel，即通道数），都是三维的，最终卷积得到的矩阵是由三通道的输入特征矩阵和三通道的卷积核分别对应卷积，再对应相加后得到一个卷积矩阵

总结

1、卷积核的cahnnel与输入特征层的channel相同（都是三通道）

2、输出的特征矩阵channel与卷积核的个数相同（通过卷积核1和卷积核2最终得到一个两通道的输出特征矩阵）

思考

1、如果加上偏移量bias该如何计算？

只需要将最终卷积得到的矩阵的每个元素和偏移量进行相加即可

2、加上激活函数该如何计算？

常用的激活函数

  • 为什么要使用激活函数？在线性的计算过程中引入非线性因素，使其具备解决非线性问题的能力
  • Relu激活函数实际上是将负值全部过滤掉，只保留了正值不变，在实际应用中使用较多
  • 在反向传播误差的过程中，如果使用sigmoid激活函数，导数的求解非常麻烦
  • 如果使用Relu激活函数，权重如果进入失活状态后无法被再次激活，所以在训练的过程中，建议不要一开始就使用特别大的学习率进行学习，否则很容易导致大量神经元失活

3、如果在卷积的过程中出现越界的情况该如何处理？

  • 一般强况下，可以使用padding的方式在图像的周围直接补零进行处理，补零后就能够正常地进行卷积，而不会出现越界的情况了

  • padding的像素p：一般实际应用过程中是两边同时补零，即左右上下进行对称的：补零操作
  • 上图中只补了一边，所以只用加上一个p就够了
  • N = （ 4 - 3 + 1 ）/ 2 + 1 = 2 ，所以最后得到一个2*2的特征矩阵

池化层

池化层的目的就是对特征图进行稀疏处理，减少数据运算量

maxpooling下采样：寻找池化核对应范围内的最大值来进行最大下采样操作

averagepooling下采样层：寻找池化核对应范围内的平均值来进行平均下采样操作

池化层的特点

1、没有训练参数，只是在原始的特征图上进行求最大值或者平均值的操作

2、它只会改变特征矩阵的宽度（w）和高度（h），并不会改变深度（channel）

3、一般池化核的大小（poolsize）和步长（stride）相同，可以将特征图进行一定比例的缩小，计算更加方便（这只是一般情况下，但并不绝对）

----end----

Trouville01
关注
专栏目录
卷积神经网络基础知识
weixin_44498476的博客
04-13 1万+
卷积神经网络基础知识:输入输出、网络结构、损失函数和评价指标。
卷积神经网络超详细介绍
呆呆的猫的博客
09-19 61万+
海量的有标记的训练数据，也就是李飞飞团队提供的大规模有标记的数据集ImageNet计算机硬件的支持，尤其是GPU的出现，为复杂的计算提供了强大的支持算法的改进，包括网络结构加深、数据增强（数据扩充）、ReLU、Dropout等AlexNet之后，深度学习便一发不可收拾，分类准确率每年都被刷榜，下图展示了模型的变化情况，随着模型的变深，Top-5的错误率也越来越低，目前已经降低到了3.5%左右，同样的ImageNet数据集，人眼的辨识错误率大概为5.1%，也就是深度学习的识别能力已经超过了人类。
卷积神经网络（CNN）详细介绍及其原理详解
IronmanJay的博客
01-14 17万+
本文总结了关于卷积神经网络（CNN）的一些基础的概念，并且对于其中的细节进行了详细的原理讲解，通过此文可以十分全面的了解卷积神经网络（CNN），非常适合于作为Deep Learning的入门学习。下面就是本篇博客的全部内容！
CNN笔记：通俗理解卷积神经网络
热门推荐
结构之法 算法之道
07-02 83万+
2012年我在北京组织过8期machine learning读书会，那时“机器学习”非常火，很多人都对其抱有巨大的热情。当我2013年再次来到北京时，有一个词似乎比“机器学习”更火，那就是“深度学习”。本博客内写过一些机器学习相关的文章，但上一篇技术文章“LDA主题模型”还是写于2014年11月份，毕竟自2015年开始创业做在线教育后，太多的杂事、琐碎事，让我一直想再写点技术性文章但每每恨时间抽不开。然由于公司在不断开机器学习、深度学习等相关的在线课程，耳濡目染中，总会顺带着学习学习。
CNN卷积神经网络基础知识
qq_43369406的博客
10-01 1762
CNN基础知识
卷积神经网络 神经网络,卷积神经网络基础知识
ynca67269的博客
08-12 1443
卷积神经网络（ConvolutionalNeuralNetwork,CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。[1] 它包括卷积层(alternatingconvolutionallayer)和池层(poolinglayer)。卷积神经网络是近年发展起来，并引起广泛重视的一种高效识别方法。...
卷积神经网络基础知识总结
weixin_45808737的博客
07-06 1825
一般来说CNN具有卷积层，池化层和完全连接层FC（正如在常规神经网络中所见）,在池化层之前一般会有个激活函数。 CNN 局部连接：每个神经元不再和上一层的所有神经元相连，而只和一小部分神经元相连。这样就减少了很多参数 权值共享：一组连接可以共享同一个权重，而不是每个连接有一个不同的权重，这样又减少了很多参数。 卷积层的作用 卷积是一种局部操作，**通过一定大小的卷积核作用于图像信息的局部区域获得图像的局部信息。 卷积网络中的卷积核参数是通过网络训练学出的 总结输出大小 输入体积大小H_1W_1D_1H​1​
卷积神经网络入门基础知识
WUHU648的博客
11-17 6280
一、卷积神经网络（CNN）定义 卷积神经网络（convolutional neural network, CNN），是一种专门用来处理具有类似网格结构的数据的神经网络。卷积网络是指那些至少在网络的一层中使用卷积运算来替代一般的矩阵乘法运算的神经网络。 经典神经网络的结构： LeNet-5 AlexNet VGG 二、DNN与CNN的区别 上图为DNN神经网络图，DNN内部的神经网络层可以分为三类，输入层，隐藏层和输出层，一般来说第一层是输出层，最后一层是输出层，而中间的层数都是隐藏层。 上图为CN
卷积神经网络基础知识（一）
是小武呀
05-30 1557
卷积神经网络基础知识（一）文前白话卷积神经网络的发展卷积神经网络的结构1、全连接层① 神经元概念② 隐层2、卷积层①卷积操作的过程②卷积操作的特点与注意点③ 附加条件下的卷积操作2、池化层① 池化操作方式② 池化的特点 文前白话 这个系列根据哔站博主<神秘的wz>主讲的课程制作而成，主要以笔记的形式呈现，添加自己的理解以及一些思维导图，巩固所学。文末附有视频链接。 卷积神经网络的发展 卷积神经网络的发展简史： 反向传播机制： LeNet 网络结构： 卷积神经网络广泛应用于图像
卷积神经网络(CNN)基础介绍
网络资源是无限的
01-16 37万+
卷积神经网络(CNN)基础介绍
基于卷积神经网络的图像去噪（基础篇）
05-06
卷积神经网络（CNN，Convolutional Neural Network）在图像处理领域有着广泛的应用，尤其是在图像去噪方面。本文将深入探讨CNN如何应用于图像去噪，为初学者提供一个基础的了解。 图像去噪是图像处理中的重要环节，...
关于卷积神经网络的书籍,卷积神经网络基础知识
m0_54846070的博客
08-25 907
pwd=bhct提取码:bhct 书名：深度学习入门作者：[日］斋藤康毅译者：陆宇杰豆瓣评分：9.4出版社：人民邮电出版社出版年份：2018-7页数：285内容简介：本书是深度学习真正意义上的入门书，深入浅出地剖析了深度学习的原理和相关技术。书中不仅介绍了深度学习和神经网络的概念、特征等基础知识，对误差反向传播法、卷积神经网络等也有深入讲解，此外还介绍了深度学习相关的实用技巧，自动驾驶、图像生成、强化学习等方面的应用，以及为什么加深层可以提高识别精度等“为什么”的问题。远比传统图像处理的概念平易近人。
基于CNN+Transformer混合模型实现交通流量时序预测(PyTorch版)
君子不器 大道无方
09-30 1464
本文旨在详细介绍如何使用PyTorch框架实现基于CNN+Transformer的混合模型，并将其应用于交通流量时序预测任务。我们将从模型架构、数据处理、训练优化等多个方面进行深入剖析，力求为读者提供一个全面、系统的学习与实践指南。希望通过本文的介绍，读者能够掌握CNN+Transformer混合模型的基本原理与实现方法，并能够在实际交通流量预测任务中灵活应用，为城市交通管理与规划贡献自己的力量。
AI学习指南深度学习篇-批标准化（Batch Normalization）简介
俞兆鹏的博客
09-28 856
批标准化是深度学习领域不可或缺的重要技术之一，极大地提高了训练速度和模型性能。它通过标准化中间层的输出，减轻了内部协变量偏移的影响，有效解决了训练过程中常见的问题。从传统的深度网络到现代复杂模型，批标准化为深度学习的快速发展做出了重要贡献。在实际应用中，理解并有效利用批标准化的特性，可以帮助我们构建更高效、准确的深度学习模型。继续深入研究和探索批标准化在其他网络构架中的应用，将进一步推动深度学习的发展与多样性。
深度学习：DCGAN
最新发布
Landy_Jay的博客
10-01 411
CDGAN（Deep Convolutional Generative Adversarial Networks），是GAN（Generative Adversarial Networks）的一种变体，它特别使用了卷积神经网络（CNNs）作为生成器和判别器的构建模块。DCGAN使用全卷积网络结构代替传统的池化层和全连接层。在生成器中采用转置卷积（也称为分数步长卷积或反卷积）来逐步增加图像的空间维度。在判别器中使用卷积层来逐步减少空间维度并提取特征。
Pytorch-CNN轴承故障一维信号分类(二)
10-01 1249
本文基于凯斯西储大学（CWRU）轴承数据，先经过数据预处理进行数据集的制作和加载，最后通过Pytorch实现CNN模型一维卷积和二维卷积对故障数据的分类，然后进行对比。
深度学习：（八）深层神经网络参数与流程
qq_51409113的博客
09-27 1208
简单介绍了深层神经网路的参数和流程图
基于Python的自然语言处理系列（19）：基于LSTM的语言模型实现
不想宅的冷同学
09-29 751
在本篇博文中，我们实现了一个基于LSTM的语言模型，探讨了其在自然语言处理中的重要性。通过对WikiText数据集的训练，我们了解了如何进行数据预处理、模型构建以及训练与评估过程。这一模型为理解语言生成打下了基础，也展示了如何使用PyTorch进行实际应用。随着对LSTM语言模型的深入理解，我们将在下一篇博文中转向更先进的Transformer模型及其在语言建模中的应用，期待与大家一同探讨Transformer如何提升自然语言处理的能力，并掌握束搜索等高效解码技术。希望继续激发大家对这一领域的热情与探索！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值