深度卷积神经网络学习（CNN）

最新推荐文章于 2024-09-10 21:39:58 发布
最新推荐文章于 2024-09-10 21:39:58 发布
阅读量1.6k 收藏 35
点赞数 7
文章标签： cnn 学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/L_superhero/article/details/124865464
版权

什么是卷积神经网络

CNN：神经网络在前面的学习中我们已经了解过很多了，其本质就是多层感知机，卷积神经网络其实也一样，但是我们可以将其看成多层感知机的变种。它成功的原因在于其所采用的局部连接和权值共享的方式：

  • 一方面减少了权值的数量使得网络易于优化，算力大大提高
  • 另一方面降低了模型的复杂度，也就是减小了过拟合的风险

该优点在网络的输入是图像时表现的更为明显，使得图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建的过程，在二维图像的处理过程中有很大的优势。

2.模型构建：

CNN：首先了解卷积神经网络的四个组件：

  • 卷积层(Convolution)
  • 非线性映射(ReLu)，即非线性激活函数
model.add(Conv2D(32,(3,3),activation='relu',padding='valid',input_shape=((28,28,1))))
  • 池化层(Pooling)
model.add(MaxPool2D(2))
  • 分类层(FC)
model.add(Flatten())

接下来我主要介绍卷积层和池化层

  • 首先介绍卷积层，卷积层主要有以下三种特性：
    • 参数共享
    • 自动提取特征
    • 平移不变性

卷积操作其实并不算复杂，但是他有很多种卷积方式，我们在进行卷积之后输出的图像也会和我们选择的卷积核有关，能够让维度下降、不变、甚至上升。

  • 接着介绍池化层，池化层一般分为以下两种池化：
    • 一般池化（最常用的池化，池化的过程中，不会将前面操作过的像素再用于池化操作）
    • 重叠池化，和一般池化相反，一般池化的步长为1时，使用过的像素就会重叠，即重复使用
    • 池化层的同样拥有三种特性：
      • 池化无参数
      • 具有降维作用
      • 缩放不变

一般的池化操作我们会使用最大池化，即在选定的部分像素中，我们选择其中最大的一个像素值来作为这一部分的像素的代表，这就使得整体的数据降维，我们生活中常见的马赛克，就是池化操作产生的。

常见的卷积神经网络模型

  1. LetNet-5模型：
    在这里插入图片描述
    Conv-Pool-Conv-Pool-FC-FC-Softmax

模型相对简单，层数也较少

  1. AlexNet模型：
    在这里插入图片描述
    Conv-Pool-Conv-Pool-Conv-Conv-Conv-Pool-FC-FC-Softmax

  2. VGG-16模型：
    在这里插入图片描述
    Conv-Conv-Pool-Conv-Conv-Pool-Conv-Conv-Conv-Pool-Conv-Conv-Conv-Pool-FC-FC-FC-Softmax

  3. GoogleNet模型（Inception V1）

在这里插入图片描述
是一种既有深度又有宽度的模型，具有以下功能：

  • 实现跨通道的交互和信息整合
  • 可以把不同特征图组合
  • 全连接可以看作1X1卷积操作
  1. ResNet模型：
    在这里插入图片描述
    该模型使用ReLu函数用于激活，改善了梯度消失的问题，使信息前后向传播更加顺畅
  • 提升了参数利用率
  • 底层的特征也进行了充分的传递，泛化性较好
  • Loss对底层参数有一定的影响，能较容易地进行训练

3.实验过程：

  1. 手写数字集测试：
  • 首先我们对比一下，图片在经过卷积或者池化操作之后，跟原图会有什么区别
# TensorFlow 卷积池化
import tensorflow as tf
import matplotlib.pyplot as plt
import numpy as np
(x_train,y_train),(x_test,y_test) = tf.keras.datasets.mnist.load_data()
x_train = x_train.reshape((-1,28,28,1))/255.0
x_test = x_test.reshape((-1,28,28,1))/255.0
filter = tf.constant([[-1,-1,-1],[-1,9,1],[-1,-1,-1]],dtype='float32')
filter = tf.reshape(filter,(3,3,1,1))
img = tf.constant(x_train[0:1]/255.0,dtype='float32')
conv_img = tf.nn.conv2d(img,filter,strides=[1,2,2,1],padding='SAME')
pool_img = tf.nn.max_pool(img,[1,2,2,1],[1,2,2,1],padding="VALID")
# window_size,stride
print(conv_img.shape)
plt.subplot(131)
plt.imshow(tf.squeeze(img))
plt.subplot(132)
plt.imshow(tf.squeeze(conv_img))
plt.subplot(133)
plt.imshow(tf.squeeze(pool_img))
plt.show()

在这里插入图片描述
由于我们采用的卷积核的特性，将一些较大的值都滤掉了，反观池化，虽然较大的值都保留了，但是同样损失了很多细节。

  • 接下里，我们构建一个经典LeNet-5的卷积神经网络，进行手写数字的识别
import tensorflow as tf
from tensorflow.keras.layers import *
from tensorflow.keras.models import Sequential
(x_train,y_train),(x_test,y_test) = tf.keras.datasets.mnist.load_data()
#tf.keras.datasets.mnist.load_data()
#tf.keras.datasets.fashion_mnist.load_data()
x_train = x_train.reshape((-1,28,28,1))/255.0
x_test = x_test.reshape((-1,28,28,1))/255.0
y_train = tf.keras.utils.to_categorical(y_train,10)
y_test = tf.keras.utils.to_categorical(y_test,10)
model = Sequential()
model.add(Conv2D(32,(3,3),activation='relu',padding='valid',input_shape=((28,28,1))))
model.add(MaxPool2D(2))
model.add(Conv2D(32,(3,3),activation='relu',padding='same'))
model.add(Flatten()) #FC，将二维图片展平成一维向量
model.add(Dense(128,activation='relu'))
model.add(Dense(10,activation='softmax'))
model.compile(optimizer=tf.keras.optimizers.Adam(),
loss=tf.keras.losses.categorical_crossentropy,metrics=['accuracy'])
model.fit(x_train,y_train,batch_size=128,epochs=20)
print(model.evaluate(x_test,y_test))

从上述代码中，我们可以发现，这个卷积神经网络中，我们使用了两个卷积层、两个最大池化层、两个全连接层

  • 我们得到的精度如下：
    在这里插入图片描述
  1. Alex-net模型：（主要为8层）
    Conv-pool-Conv-pool-Conv-Conv-Conv-pool-FC-FC-Softmax分类输出
  • 初始框架优化效果：
    在这里插入图片描述
  • 将卷积核的数目核batch_size扩大一倍后:
    在这里插入图片描述
  • 感觉精度不高的原因是模型太简单，我们在原模型的基础上增加一层卷积
    在这里插入图片描述
    效果不错，再也不是乌龟爬式的增长了
  • 再加两层卷积之后再池化
    在这里插入图片描述
  • 重复上述操作
    在这里插入图片描述
    精度的提升很小，说明靠这种方法来提升精度已经达到了极限值
  1. VGG16模型：（卷积核3x3；池化核2x2，步长为2，即不重叠池化）
    在这里插入图片描述
    从上图我们可以看到，该模型由最大池化层分隔，总共分隔成了6块，其中五块为卷积层，一块为全连接层。且每一次的卷积都使得输入和输出的图像大小不变，只有在池化时变为原来的一半，最后由三层全连接层输出
  • 略微增大卷积核个数，得到精度如下：
    在这里插入图片描述
  • VGG16模型的层数实在是太多了，以至于我觉得该模型应该是属于过拟合的状态，我决定将其简化，原本的VGG16模型有5个模块，删去最后一个，剩下四个模块。
    在这里插入图片描述
    稍微提升了一些
  1. InceptionNet模型：（更多的支路，更宽的神经网络）

  • 该模型初次的精度如下：
    在这里插入图片描述

  • 我们知道，卷积核可以提取突破的特征，初步设想，给定较多的卷积核，便能提取更多特征，那么最后的精度应该会高。所以将原来的卷积核个数翻倍，得到的结果如下：
    在这里插入图片描述
    看来这招在这里并不合适

  • 既然增加卷积核的个数行不通，索性让神经网络变得更深一些
    在这里插入图片描述
    精度下降了，看来单纯地深化神经网络，也不一定就能达到最好的效果，太复杂的模型很有可能会过拟合，导致精度下降。

  • 删去一层深度之后，效果似乎有所好转
    在这里插入图片描述

  • 增加一条支路，让其模型变成5条支路，3层深度
    在这里插入图片描述

  1. ResNet模型：
  • 初始精度大概是0.126左右，稍微添加了一层卷积，结果精度直接降低一半
    在这里插入图片描述
  • 删去两层卷积
    在这里插入图片描述

总结

总的来说对几个常见的卷积神经网络结构有了一定的了解，无非就是卷积、池化、归一化、全连接的各种组合，在调试优化模型的过程中我也进行了很多尝试，有了一定的收获。调参是门技术活，而我只会没脑子的瞎调

人工智障白日梦想家
关注
CNN学习
fengzhonghen的专栏
11-22 1137
之前学习CNN时，知道CNN是做特征升维的，随着设置不同的步长以及子采样来提升维度。比如一个图片28*28像素，设置步长为1并使用max_pool_2x2可以升维到14*14。但不知道具体卷积的计算过程，网上的解释也很少，所以直到今天实验之后才总算弄明白了。      先看卷积计算公式：(很重要很重要很重要，重要的事情说三遍)            L` = (L-1)/S+1;  
学习笔记：深度学习（3）——卷积神经网络（CNN）理论篇
热门推荐
Morganfs的博客
04-12 10万+
深度学习笔记——CNN卷积神经网络理论篇。主要包括CNN的概念、基本原理、类型综述。算是比较完善的一篇文章了。
卷积神经网络（CNN）
a1171171的博客
03-15 259
一文看懂卷积神经网络
【机器学习】卷积神经网络（CNN）
最新发布
fzy2003的博客
09-10 3727
卷积神经网络（CNN）是一种深度学习模型，通过多层结构实现图像识别等任务。CNN包括输入层、卷积层、池化层、全连接层和输出层。输入层接收原始数据，卷积层通过滑动卷积核提取图像特征，池化层进一步压缩特征图，减少过拟合并提高模型对平移等变换的鲁棒性。全连接层将提取的特征展开并进行分类或回归任务，输出层通过Softmax函数生成概率分布，完成最终预测。CNN广泛用于图像处理、手写数字识别等领域，具有很强的特征提取能力。
CNN基础学习
weixin_43681559的博客
12-05 736
卷积神经网络
深度学习——CNN(卷积神经网络)（超详细）
weixin_37763870的博客
11-16 5万+
目录 一、卷积神经网络（CNN）定义 二、DNN与CNN的区别 三、CNN五种结构组成 1、输入层 2、卷积层(Convolution Layer) 3、池化层(Pooling Layer) 4、全连接层 5、Softmax层 一、卷积神经网络（CNN）定义 卷积神经网络（convolutional neural network, CNN），是一种专门用来处理具有类似网格结构的数据的神经网络。卷积...
CNN初步学习
zsc4396的博客
09-04 450
对于我们所要处理的问题不一定是线性可分的，为了解决这样的问题要引入激活函数引入非线性因素。加入了激活函数之后，模型才具备了分层的非线性映射学习能力，具有更高的抗干扰能力。在进行卷积运算时，输入矩阵的边缘会比矩阵内部的元素计算次数少，可在输入矩阵的四周补零，称为padding。数据多的时候每次计算滑动一格导致计算量很大，可以增加步幅比如每次计算滑动两格来减少计算量。简化网络计算的复杂程度，特征压缩，提取主要的特征，防止过拟合，加快计算速度.可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。
深度学习——卷积神经网络(CNN)
Xiao_Ya__的博客
06-01 2141
深度学习——卷积神经网络(CNN)
计算机视觉+深度学习+卷积神经网络(CNN)+图像识别与分析 卷积神经网络（CNN）是深度学习在计算机视觉领域的核心技术，主要
03-21
### 计算机视觉与深度学习之卷积神经网络（CNN） #### 一、引言 随着计算机视觉技术的发展，深度学习尤其是卷积神经网络（CNN）成为了图像识别与分析的关键技术之一。CNN通过其特有的架构，即卷积层、池化层以及全...
基于深度卷积神经网络的遥感影像目标检测技术研究及应用
05-01
遥感影像目标检测技术是现代信息技术与遥感科学的重要交叉领域，近年来随着深度学习，特别是深度卷积神经网络（CNN）的发展，取得了显著的进步。本文将深入探讨基于深度卷积神经网络的遥感影像目标检测技术，以及其...
深度学习：Keras入门(二)之卷积神经网络(CNN)
01-26
卷积神经网络（CNN）是深度学习领域中用于图像处理和计算机视觉任务的重要模型。Keras是一个高级神经网络API，可以方便地构建和训练复杂的CNN模型。本篇将深入介绍Keras中的CNN基本概念和结构。 1. **卷积运算**： ...
深度卷积神经网络（CNN）
qq_42178122的博客
05-11 9836
CNN简述 卷积神经网络（Convolutional Neural Network，CNN），它是属于前馈神经网络的一种，其特点是每层的神经元节点只响应前一层局部区域范围内的神经元（全连接网络中每个神经元节点则是响应前一层的全部节点）。 一个深度卷积神经网络模型，一般由若干卷积层叠加若干全连接层组成，中间包含各种的非线性操作、池化操作。卷积运算主要用于处理网格结构的数据，因此CNN天生对图像数据的分析与处理有着优势，简单地来理解，那就是CNN是利用滤波器（Filter）将相邻像素之间的轮廓过滤出来。 1.
CNN学习（一）
Handsome_Sheng的专栏
07-13 1075
卷积：一组固定的权重和不同窗口内数据做内积参考七月在线CNN算法讲解（1）filter（滤波器：带固定权重的神经元，可以是多维 m*n*k 长×宽×厚）的个数，等于输出的depth。每个filter只关注一个特性/特征 （2）数据预处理：减去训练集的均值。test同样也是减去train的mean （3）stride决定filter的步长（决定有多少个滑动窗口） （4）zero—padding
mnist数据集训练简洁实现
洪流之源
06-03 479
import torch import torch.nn as nn import torch.optim as optim from torchvision import datasets, transforms class CNN(nn.Module): def __init__(self): super(CNN, self).__init__() self.conv1 = nn.Sequential( # 输入大小 (1, 28, 28) .
深度学习入门：CNN卷积神经网络全面解析
本文将深入探讨卷积神经网络（CNN），这是一种在深度学习领域广泛应用的神经网络结构，尤其在图像识别、计算机视觉任务中表现卓越。CNN的设计灵感来源于人脑视觉皮层的结构，通过卷积层、池化层和全连接层等组件，...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值