D. 深度学习 --- 卷积神经网络

最新推荐文章于 2023-08-14 07:09:05 发布
最新推荐文章于 2023-08-14 07:09:05 发布
阅读量619 收藏 3
点赞数
分类专栏： # 深度学习 文章标签： 人工智能 神经网络 卷积神经网络 1024程序员节
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/micklongen/article/details/90049432
版权

D. 深度学习 — 卷积神经网络

概述

  • 描述
    • 第一点，在学习Deep learning和CNN之前，总以为它们是很了不得的知识，总以为它们能解决很多问题，学习了之后，才知道它们不过与其他机器学习算法如svm等相似，仍然可以把它当做一个分类器，仍然可以像使用一个黑盒子那样使用它。
    • 第二点，Deep Learning强大的地方就是可以利用网络中间某一层的输出当做是数据的另一种表达，从而可以将其认为是经过网络学习到的特征。基于该特征，可以进行进一步的相似度比较等。
    • 第三点，Deep Learning算法能够有效的关键其实是大规模的数据，这一点原因在于每个DL都有众多的参数，少量数据无法将参数训练充分。
  • 优缺点
    • 优点
      • 共享卷积核，对高维数据处理无压力
      • 无需手动选取特征，训练好权重，即得特征分类效果好
    • 缺点
      • 需要调参，需要大样本量，训练最好要GPU
      • 物理含义不明确（也就说，我们并不知道没个卷积层到底提取到的是什么特征，而且神经网络本身就是一种难以解释的“黑箱模型”）
      • CNN无法处理影像放大、缩小、旋转等
        • 可以通过数据增强的手段优化
  • 为什么使用CNN
    • Some patterns are much smaller than the whole image
    • The same patterns appear in different regions
    • Subsampling the pixels will not change the object

调参

  • 常见参数配置
    • 图像识别
      • 卷积核size
        • 一般 3 * 3，极端的话是：7 * 7，9 * 9
      • 卷积核移动距离（stride）：2
      • padding的方法
        • 补0
        • 整张图片的均值
        • 复制把图片边缘的数字
  • 卷积神经网络之 fine-tuning
    • 何谓fine-tuning？fine-tuning就是使用已用于其他目标、预训练好模型的权重或者部分权重，作为初始值开始训练。那为什么我们不用随机选取选几个数作为权重初始值？原因很简单，第一，自己从头训练卷积神经网络容易出现问题；第二，fine-tuning能很快收敛到一个较理想的状态，省时又省心。
    • 那fine-tuning的具体做法是？
      • 复用相同层的权重，新定义层取随机权重初始值
      • 调大新定义层的的学习率，调小复用层学习率

网络结构

  • 一般CNN结构依次为
    • 1.INPUT
    • 2.[[CONV -> RELU]*N -> POOL?]*M
    • 3.[FC -> RELU]*K
    • 4.FC
  • 数据输入层/ Input layer
    • 去均值：把输入数据各个维度都中心化为0，如下图所示，其目的就是把样本的中心拉回到坐标系原点上。
    • 归一化：幅度归一化到同样的范围，如下所示，即减少各维度数据取值范围的差异而带来的干扰，比如，我们有两个维度的特征A和B，A范围是0到10，而B范围是0到10000，如果直接使用这两个特征是有问题的，好的做法就是归一化，即A和B的数据都变为0到1的范围。
    • PCA/白化：用PCA降维；白化是对数据各个特征轴上的幅度归一化
  • 卷积计算层/ CONV layer
    • 操作
      • 局部关联。每个神经元看做一个滤波器(filter)
      • 窗口(receptive field)滑动， filter对局部数据计算
    • 名词
      • 深度/depth
      • 步长/stride
      • 填充值/zero-padding
    • 参数共享机制
      • 在卷积层中每个神经元连接数据窗的权重是固定的，每个神经元只关注一个特性。神经元就是图像处理中的滤波器，比如边缘检测专用的Sobel滤波器，即卷积层的每个滤波器都会有自己所关注一个图像特征，比如垂直边缘，水平边缘，颜色，纹理等等，这些所有神经元加起来就好比就是整张图像的特征提取器集合。
      • 需要估算的权重个数减少: AlexNet 1亿 => 3.5w
      • 一组固定的权重和不同窗口内数据做内积: 卷积
    • 类型
      • 单卷积核
      • 多卷积核
  • ReLU激励层 / ReLU layer
    • 把卷积层输出结果做非线性映射。CNN采用的激励函数一般为ReLU(The Rectified Linear Unit/修正线性单元)，它的特点是收敛快，求梯度简单，但较脆弱，图像如下。
    • 激励层的实践经验：
      • 不要用sigmoid！不要用sigmoid！不要用sigmoid！
      • 首先试RELU，因为快，但要小心点
      • 如果2失效，请用Leaky ReLU或者Maxout
      • 某些情况下tanh倒是有不错的结果，但是很少
  • 池化层 / Pooling layer
    • 池化层夹在连续的卷积层中间， 用于压缩数据和参数的量，减小过拟合。简而言之，如果输入是图像的话，那么池化层的最主要作用就是压缩图像。
    • 作用
      • 1.特征不变性
      • 2.特征降维
      • 3.在一定程度上防止过拟合，更方便优化。
    • 类型
      • Max pooling
      • average pooling
  • Flatten
  • 全连接层 / FC layer
    • 两层之间所有神经元都有权重连接，通常全连接层在卷积神经网络尾部。也就是跟传统的神经网络神经元的连接方式是一样的：

优化手段

  • Spatial Transformer Layer
    • 可以通过NN的手段两个Layer之间的链接方式
      • 本质上，就是通过 矩阵 的手段，对图片进行 放大、缩小、旋转、平移等
    • 问题
      • 无法用 Gradient Descent优化
    • Interpolation（插值）

卷积神经网络之典型CNN

  • LeNet，这是最早用于数字识别的CNN
  • AlexNet， 2012 ILSVRC比赛远超第2名的CNN
  • LeNet更深，用多层小卷积层叠加替换单大卷积层。
  • ZF Net， 2013 ILSVRC比赛冠军
  • GoogLeNet， 2014 ILSVRC比赛冠军
  • VGGNet， 2014 ILSVRC比赛中的模型，图像识别略差于GoogLeNet，但是在很多图像转化学习问题(比如object detection)上效果奇好
micklongen
关注
专栏目录
深度学习------卷积神经网络（CNN）、循环神经网络(RNN、LSTM)和递归神经网络知识点汇总
m0_47405013的博客
02-05 4584
1. 卷积神经网络（CNN） 卷积神经网络（CNN）:是一类包含卷积计算且具有深度结构的前馈神经网络；由于卷积神经网络具有平移不变分类，因此也被称为平移不变人工神经网络。 卷积神经网络是一种特殊的卷积神经网络模型，体现在两个方面：（1）神经元间的连接是非全连接的；（2）同一层中某些神经元之间的连接权重是共享的，即它的非全连接和权值共享的网络结构使之类似于生物神经网络，降低了模型的复杂度，减少了权值的数量。 输入层：主要对原始图像数据进行预处理，包括去均值，归一化，pca. 卷积层：提取特征 池化层：（1）特
Keras深度学习实战（7）——卷积神经网络详解与实现
盼小辉丶的博客
06-02 1万+
传统深度前馈神经网络的局限性之一是它并不满足平移不变性，且容易受图像中对象大小的影响。卷积神经网络 (Convolutional Neural Network, CNN) 的提出正是用于解决传统神经网络的这些缺陷。即使对象位于图片中的不同位置或其在图像中具有不同占比，CNN 也能够正确的处理这些图像，因此在对象分类/检测任务中更加有效。本节详细介绍了 CNN 的基本概念与计算流程，同时使用 Keras 构建 CNN 模型识别手写数字。.........
典型的CNN架构
weixin_45342712的博客
07-05 1029
典型的CNN架构： 图像先进行多层卷积层（每个卷积层后一个接relu层和一个池化层）处理后输入给全连接神经网络层和relu层最后是输出层Softmax层输出预测的类概率，卷积层的卷积核过大会增加权重值的计算量卷积后的结果与小卷积核结果可能一致 图像模型评估： top-five错误率是测试图片系统判断前5个类别预测都没有包含正确答案的数量，由于CNN模型的出现，错误率从26%降到了3% 经典模型： ...
卷积神经网络之典型CNN,fine-turning
daxuan1881的博客
12-19 675
卷积神经网络之典型CNN 　　• LeNet，这是最早用于数字识别的CNN 　　• AlexNet， 2012 ILSVRC比赛远超第2名的CNN，比 　　• LeNet更深，用多层小卷积层叠加替换单大卷积层。 　　• ZF Net， 2013 ILSVRC比赛冠军 　　• GoogLeNet， 2014 ILSVRC比赛冠军 　　• VGGNet， 2014 ILSVRC比赛中的模型，图像识别略...
典型CNN神经网络结构
sinat_32043495的博客
12-19 2482
LeNet-5，用来识别数字的卷积网络  C1层是一个卷积层，由6个特征图Feature Map构成。特征图中每个神经元与输入为5*5的邻域相连。特征图的大小为28*28，这样能防止输入的连接掉到边界之外（32-5+1=28）。C1有156个可训练参数（每个滤波器5*5=25个unit参数和一个bias参数，一共6个滤波器，共(5*5+1)*6=156个参数），共156*(28*
CNN之fine-tuning
Daisy_HJL的博客
09-25 3019
fine-tuning：使用已用于其他目标、预训练好模型的权重或者部分权重，作为初始值开始训练。 为什么要用fine-tuning？ 自己从头训练卷积神经网络容易出现问题；而用fine-tuning能很快收敛到一个理想的状态。 怎么做？ 复用相同层的权重，新定义层取随机权重初始值；调大新定义层的学习率，调小复用层学习率。
卷积神经网络五之典型的CNN网络
dujuancao11的博客
03-26 3082
一、典型的CNN网络 1、开山之作：LeNet-5 1998 LeNet-5 是一个非常成功的神经网络模型。 基于 LeNet-5 的手写数字识别系统在 90 年代被美国很多银行使用，用来识别支票上面的手写数字。 LeNet-5 共有 7 层。 （不怎么会计算） 输入层：输入图像大小为 32 × 32 = 1024。 C1 层：这一层是卷积层。滤波器的大小是 5×5 = ...
PyTorch深度学习实战（11）——卷积神经网络
最新发布
盼小辉丶的博客
08-14 1万+
卷积神经网络 (Convolutional Neural Network, CNN) 是一种广泛应用的深度学习模型。通过参数共享、局部感知和空间结构等优势，能够更好地处理图像数据，并在图像识别、目标检测和图像生成等任务中展现出强大的能力。在本节中，介绍了卷积的计算方法以及卷积神经网络的基本组件，并使用 PyTorch 构建了卷积神经网络以深入了解其工作原理。
caffe 入门实例3 fine-turning
weixin_34310785的博客
05-20 215
占坑，使用fine-turning初始化参数。。。 转载于:https://www.cnblogs.com/wangxiu/p/5513368.html
fine-turning操作
qq_51143009的博客
06-04 201
可以看这个链接凹 http://www.voidcn.com/search/vxzfhm
Tensorflow学习笔记：CNN篇（8）——Finetuning，模型更为细化的保存与恢复
Laurenitum0716的博客
02-14 1177
Tensorflow学习笔记：CNN篇（8）——Finetuning，模型更为细化的保存与恢复 前序 — 对于模型的保存和恢复，前文已经做了介绍，然而读者可能已经注意到，在设定的保存文件夹中有着4个不同的文件类型： 可以得知，根据需要每个文件类型都有其不同的用处，但是仅仅知道这些还不够，对于Tensorflow工作人员来说，需要更进一步了解不同文件所处的作用。 存储文件的解读 ...
用自己的图片训练图像分类问题 fine-turning
qq_37223954的博客
08-09 902
神经网络采用预训练好的inception-V3，其内部权值、偏置值均为确定的值 首先在github上下载tensorflow 注意要与电脑中的tensorflow版本相匹配 可以找一下 名字为tensorflow-frankchn的包  下载完成后打开F:\tensorflow\tensorflow-frankchn\tensorflow\examples\image_retraining这...
Fine-turning（Tensorflow-Slim和Keras的迁移学习）
nakaizura
03-07 3782
迁移学习是什么？ 即：举一反三。即将已经训练好的模型稍加调整（fine-turning）即可应用于一个新的领域或者任务。 迁移学习为什么重要？ 机器学习的默认假设，训练样本和测试样本满足独立同分布的前提是训练样本足够。 数据的稀缺性。如在想要做医学领域的图像处理，所能得到的样本是极端的不平衡，重要的样本太少，无法训练出一个效果好的网络。 标记的困难性。大数据时代动辄亿万数据，标记起来太费时费力。...
卷积cnn总结
weixin_30455365的博客
07-05 248
阅读了很多篇文章后，还是觉得有两篇文章很好，所以基本上就吸收搬过来了。 从神经网络到卷积神经网络（CNN） 我们知道神经网络的结构是这样的： 那卷积神经网络跟它是什么关系呢？ 其实卷积神经网络依旧是层级网络，只是层的功能和形式做了变化，可以说是传统神经网络的一个改进。 比如下图中就多了许多传统神经网络没有的层次。 卷积神经网络的层级结构• 数据输入层/ Input layer•...
什么是 fine-turning？
醒途
09-21 3873
fine-tuning就是使用已用于其他目标、预训练好模型的权重或者部分权重，作为初始值开始训练。 那为什么我们不用随机选取选几个数作为权重初始值？原因很简单，第一，自己从头训练卷积神经网络容易出现问题；第二，fine-tuning能很快收敛到一个较理想的状态，省时又省心。 那fine-tuning的具体做法是？ 　　• 复用相同层的权重，新定义层取随机权重初始值 　　• 调大新定义层的的学习率，...
Tensorflow学习笔记：CNN篇（7）——Finetuning，模型的保存与恢复
Laurenitum0716的博客
02-13 2488
Tensorflow学习笔记：CNN篇（7）——Finetuning，模型的保存与恢复 前序 — 前文，我们介绍了VGGNet的组成结构，并在CIFAR-10数据集上进行了实现，本文着重介绍Finetuning的能力。Finetuning的意思是在已有模型之后进行参数和训练模型复用的缩写，也是真实工程应用中最常用的的是由既有模型的手段。 实战Tensorflow模型的存储与恢...
动手学深度学习（二十七）——微调（fine turning）
热门推荐
Liu Feng's Blog
08-31 2万+
文章目录一、微调（fine tuning）1. 微调的四个步骤：2. 微调的训练过程3. 常用的微调技术4. 总结二、动手实现和测试微调1. 数据准备2. 模型微调3. 对比不使用微调和不同的微调参数4. 冻结层进行微调 一、微调（fine tuning） 1. 微调的四个步骤： 在源数据集（如ImageNet数据集）上预训练一个神经网络模型，即源模型。 创建一个新的神经网络模型，即目标模型。它复制了源模型上除了输出层外的所有模型设计及其参数。我们假设这些模型参数包含了源数据集上学习到的知识，且这些知识同
使用循环卷积神经网络进行RGB-D视频对象类分割
"该资源是一篇关于使用循环...这篇论文贡献了一种新的深度学习模型，旨在克服深度卷积神经网络在处理RGB-D视频对象类分割时的局限性，通过结合循环神经网络的能力，提升了对视频序列中复杂时空模式的理解和分割精度。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值