深度学习Deep Learning（01）_CNN卷积神经网络

最新推荐文章于 2024-06-11 18:19:31 发布
最新推荐文章于 2024-06-11 18:19:31 发布
阅读量3.5w 收藏 142
点赞数 28
分类专栏： 原创 GitHub 深度学习 机器学习 文章标签： github 神经网络 深度学习 CNN 卷积神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013082989/article/details/53673602
版权
原创 同时被 3 个专栏收录
42 篇文章 4 订阅
订阅专栏
GitHub
22 篇文章 1 订阅
订阅专栏
深度学习
15 篇文章 2 订阅
订阅专栏

深度学习 Deep Learning

一、CNN卷积神经网络

1、概述

  • 典型的深度学习模型就是很深层的神经网络，包含多个隐含层，多隐层的神经网络很难直接使用BP算法进行直接训练，因为反向传播误差时往往会发散，很难收敛
  • CNN节省训练开销的方式是权共享weight sharing，让一组神经元使用相同的权值
  • 主要用于图像识别领域

2、卷积（Convolution）特征提取

  • 卷积核（Convolution Kernel），也叫过滤器filter，由对应的权值W和偏置b体现
  • 下图是3x3的卷积核在5x5的图像上做卷积的过程，就是矩阵做点乘之后的和
    ![enter description here][1]
    第i个隐含单元的输入就是：$${W_{\rm{i}}}{x_{small}} + {b_i}$$，其中$${x_{small}}$$就时与过滤器filter过滤到的图片
  • 另外上图的步长stride为1，就是每个filter每次移动的距离

  • 卷积特征提取的原理

    • 卷积特征提取利用了自然图像的统计平稳性，这一部分学习的特征也能用在另一部分上，所以对于这个图像上的所有位置，我们都能使用同样的学习特征。
    • 当有多个filter时，我们就可以学到多个特征，例如：轮廓、颜色等

  • 多个过滤器filter（卷积核）

    • 例子如下
      这里写图片描述
    • 一张图片有RGB三个颜色通道，则对应的filter过滤器也是三维的，图像经过每个filter做卷积运算后都会得到对应提取特征的图像，途中两个filter:W0和W1,输出的就是两个图像
    • 这里的步长stride为2（一般就取2,3）
    • 在原图上添加zero-padding，它是超参数，主要用于控制输出的大小
    • 同样也是做卷积操作，以下图的一步卷积操作为例：
      与w0[:,:,0]卷积：0x(-1)+0x0+0x1+0x1+0x0+1x(-1)+1x0+1x(-1)+2x0=-2
      与w0[:,:,1]卷积：2x1+1x(-1)+1x1=2
      与w0[:,:,2]卷积：1x(-1)+1x(-1)=-2
      最终结果：-2+2+(-2)+1=-1 (1为偏置)
      这里写图片描述

3、池化（Pooling）

  • 也叫做下采样
  • Pooling过程
    • 把提取之后的特征看做一个矩阵，并在这个矩阵上划分出几个不重合的区域，
    • 然后在每个区域上计算该区域内特征的均值或最大值，然后用这些均值或最大值参与后续的训练
      这里写图片描述
      -下图是使用最大Pooling的方法之后的结果
      这里写图片描述
  • Pooling的好处
    • 很明显就是减少参数
    • Pooling就有平移不变性（(translation invariant）
      如图feature map是12x12大小的图片，Pooling区域为6x6,所以池化后得到的feature map为2x2,假设白色像素值为1，灰色像素值为0，若采用max pooling之后，左上角窗口值为1
      这里写图片描述
      将图像右移一个像素，左上角窗口值仍然为1
      这里写图片描述
      将图像缩放之后，左上角窗口值仍然为1
      这里写图片描述
  • Pooling的方法中average方法对背景保留更好，max对纹理提取更好
  • 深度学习可以进行多次卷积、池化操作

4、激活层

  • 在每次卷积操作之后一般都会经过一个非线性层，也是激活层
  • 现在一般选择是ReLu,层次越深，相对于其他的函数效果较好，还有Sigmod,tanh函数等
    这里写图片描述
  • sigmod和tanh都存在饱和的问题，如上图所示，当x轴上的值较大时，对应的梯度几乎为0，若是利用BP反向传播算法， 可能造成梯度消失的情况，也就学不到东西了

5、全连接层 Fully connected layer

  • 将多次卷积和池化后的图像展开进行全连接，如下图所示。
    这里写图片描述
  • 接下来就可以通过BP反向传播进行训练了
  • 所以总结起来，结构可以是这样的
    这里写图片描述

6、CNN是如何工作的

  • 看到知乎上的一个回答还不错：https://www.zhihu.com/question/52668301
  • 每个过滤器可以被看成是特征标识符（ feature identifiers）
  • 如下图一个曲线检测器对应的值
    这里写图片描述
  • 我们有一张图片，当过滤器移动到左上角时，进行卷积运算
    这里写图片描述
  • 当与我们的过滤器的形状很相似时，得到的值会很大
    这里写图片描述
  • 若是滑动到其他的部分，可以看出很不一样，对应的值就会很小，然后进行激活层的映射。
    这里写图片描述
  • 过滤器filter的值怎么求到，就是我们通过BP训练得到的。
莫失莫忘Lawlite
关注
  • 28
    点赞
  • 踩
  • 142
    收藏
    觉得还不错? 一键收藏
  • 14
    评论
专栏目录
卷积神经网络（CNN）超详细介绍
weixin_44021149的博客
03-22 5万+
文章转自：https://blog.csdn.net/jiaoyangwm/article/details/80011656 文章目录 1、卷积神经网络的概念2、 发展过程3、如何利用CNN实现图像识别的任务4、CNN的特征5、CNN的求解6、卷积神经网络注意事项7、CNN发展综合介绍8、LeNet-5结构分析9、AlexNet10、ZFNet10.1 意义10.2 实现方法10.3 训练细节10.4 卷积网络可视化10.6 总结 11、VGGNet11.1 结构11.2 网络特点：11.3 分
卷积神经网络(CNN)——图像卷积
weixin_44042453的博客
08-15 4689
卷积神经网络(CNN)——图像卷积
支持向量机（SVM）
最新发布
m0_73598472的博客
06-11 1336
支持向量机（Support Vector Machine，简称SVM）是一种用于分类和回归分析的监督学习模型。SVM通过在特征空间中寻找一个最佳的分离超平面，以最大化类间间隔，实现对数据的分类。
AlexNet-深度卷积神经网络(CNN卷积神经网络)
西小庄村高伟 的博客
10-11 5381
AlexNet深度卷积神经网络
CNN的基本概念、常用的计算公式和pytorch代码
略知12的博客
01-05 9605
文章目录一、CNN的基本概念二、常见的卷积1.一般卷积2.扩张卷积(空洞卷积)3.转置卷积(反卷积)4.可分离卷积4.1.空间可分离卷积4.2.深度可分离卷积三、CNN的输入输出尺寸计算公式四、CNN常用的激活函数4.1.Sigmoid4.2.tanh4.3.Relu五、标准化和归一化1.标准化1.1.批标准化(Batch Normalization)2.归一化六、保存和加载模型1.仅保存学习到的参数1.1.保存模型：torch.save(model.state_dict(), PATH)1.2.调用模型.
深度学习——CNN卷积神经网络
Elon15的博客
07-12 3001
深度学习——CNN卷积神经网络
CNN_v2.rar_cnn_v2_deep learning EEG_eeg深度学习_neural_卷积神经网络
07-13
癫痫脑电图（EEG）异常波精准识别深度学习CNN卷积神经网络
cnn.zip_CNN_deep learning_卷积神经网络_神经网络
09-21
卷积神经网络（CNN，Convolutional Neural Network）是一种深度学习模型，特别是在图像识别和处理领域表现出色。CNN的关键在于其卷积层和池化层，这些层能够自动学习到图像的局部特征，并逐渐提取出高级抽象特征。在...
CNN_MNist_solar72q_deeplearning_C++卷积神经网络_cnn网络c实现_卷积神经网络_
10-02
卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习（deep learning）的代表算法之一。这是C++实现的卷积神经网络源码，识别手写阿位伯数字（以MNIST集为例），很容易改为识别汽车牌照的CN...
DeepLearning深度学习教程_第五章 卷积神经网络(CNN).pdf
08-23
卷积神经网络（CNN）是深度学习中一种关键的架构，尤其在图像处理领域表现出色。CNN通过模拟人脑视觉皮层的工作原理，利用卷积层、池化层、激活层等组件，有效地提取和学习图像特征。以下是关于CNN的一些核心知识点...
CNN_python_卷积神经网络matlab代码_CNN
09-11
卷积神经网络（CNN，Convolutional Neural Network）是一种深度学习模型，主要应用于图像处理、计算机视觉和自然语言处理等领域。CNN的特点在于其利用卷积层来捕获局部特征，并通过池化层来减少计算复杂度，保持模型...
卷积神经网络CNN学习笔记 pdf
11-07
个人整理的CNN学习笔记，所有素材均来自于互联网。把经典的摘之以作备案，待整理好这份笔记后，发现对CNN也有了深入理解，希望对你也有帮助！
CNN卷积神经网络详解
08-05
CNN神经网络入门书籍，想要入门神经网络，学习基础知识的不可错误
卷积神经网络
konstantin的博客
03-15 807
卷积神经网络 创建日期 星期五 15 三月 2019 卷积神经网络的特点在于卷积； 通俗的来说卷积就是局部扫描，然后进行训练识别，将一个图像卷积，从原来的n维矩阵进行折叠，进行降维操作，然后对其进行全连接加权，池化层等 Layers used to build ConvNets 卷积神经网络通常包含以下几种层： 卷积层（Convolutional layer），卷积神经网路中每层卷积...
深度学习：卷积神经网络CNN入门
一人 一剑 一壶茶
11-10 1万+
作者：机器之心 链接：https://www.zhihu.com/question/52668301/answer/131573702 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 Part 1：图像识别任务 卷积神经网络，听起来像是计算机科学、生物学和数学的诡异组合，但它们已经成为计算机视觉领域中最具影响力的革新的
卷积神经网络CNN的训练过程
大西瓜不甜的博客
05-09 2972
  卷积神经网络的训练过程分为两个阶段。第一个阶段是数据由低层次向高层次传播的阶段，即前向传播阶段。另外一个阶段是，当前向传播得出的结果与预期不相符时，将误差从高层次向底层次进行传播训练的阶段，即反向传播阶段。训练过程如图4-1所示。训练过程为： 1、网络进行权值的初始化； 2、输入数据经过卷积层、下采样层、全连接层的向前传播得到输出值； 3、求出网络的输出值与目标值之间的误差； 4、当误差大于我们的期望值时...
深度学习 --- 卷积神经网络CNN（LeNet-5网络详解）
热门推荐
进击的菜鸟
11-26 23万+
卷积神经网络（Convolutional Neural Network，CNN）是一种前馈型的神经网络，其在大型图像处理方面有出色的表现，目前已经被大范围使用到图像分类、定位等领域中。相比于其他神经网络结构，卷积神经网络需要的参数相对较少，使的其能够广泛应用。 本节打算先介绍背景和简单的基本概念术语，然后详细介绍LeNet-5网络，其工作流程大家需要先搞清楚，学习原理其实是基于BP学习原理的，只...
CNN中卷积层的计算细节
weixin_30533797的博客
03-22 2988
原文链接： https://zhuanlan.zhihu.com/p/29119239卷积层尺寸的计算原理输入矩阵格式：四个维度，依次为：样本数、图像高度、图像宽度、图像通道数输出矩阵格式：与输出矩阵的维度顺序和含义相同，但是后三个维度（图像高度、图像宽度、图像通道数）的尺寸发生变化。权重矩阵（卷积核）格式：同样是四个维度，但维度的含义与上面两者都不同，为：卷积核...
评论 14
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值