CNN介绍及Python(TensorFlow)实现

已于 2022-04-01 16:37:28 修改
阅读量1.2k 收藏 5
点赞数 2
文章标签： cnn 卷积神经网络 tensorflow python 深度学习
于 2022-04-01 16:11:51 首次发布
原文链接：https://blog.csdn.net/qq_37541097
版权

目录

AlexNet介绍

idea

过拟合

解决方案

卷积后矩阵尺寸计算公式

AlexNet网络结构

model代码

VGGNet介绍

idea

感受野

感受野计算公式

VGGNet网络结构

model代码

AlexNet介绍

AlexNet是2012年ISLVRC 2012（ImageNet Large Scale Visual RecognitionChallenge）竞赛的冠军网络，分类准确率由传统的 70%+提升到 80%+。它是由Hinton和他的学生Alex Krizhevsky设计的。也是在那年之后，深度学习开始迅速发展。

idea

（1）首次利用 GPU 进行网络加速训练。
（2）使用了 ReLU 激活函数，而不是传统的 Sigmoid 激活函数以及 Tanh 激活函数。
（3）使用了 LRN 局部响应归一化。
（4）在全连接层的前两层中使用了 Dropout 随机失活神经元操作，以减少过拟合。

过拟合

根本原因是特征维度过多，模型假设过于复杂，参数过多，训练数据过少，噪声过多，导致拟合的函数完美的预测训练集，但对新数据的测试集预测结果差。 过度的拟合了训练数据，而没有考虑到泛化能力。

解决方案

使用 Dropout 的方式在网络正向传播过程中随机失活一部分神经元。

卷积后矩阵尺寸计算公式

经卷积后的矩阵尺寸大小计算公式为： N = (W − F + 2P ) / S + 1
① 输入图片大小 W×W
② Filter大小 F×F
③ 步长 S
④ padding的像素数 P

AlexNet网络结构

layer_namekernel_sizekernel_numpaddingstride
Conv11196[1, 2]4
Maxpool13None02
Conv25256[2, 2]1
Maxpool23None02
Conv33384[1, 1]1
Conv43384[1, 1]1
Conv53256[1, 1]1
Maxpool33None02
FC12048NoneNoneNone
FC22048NoneNoneNone
FC31000NoneNoneNone

model代码

from tensorflow.keras import layers, models, Model, Sequential


def AlexNet_v1(im_height=224, im_width=224, num_classes=1000):
    # tensorflow中的tensor通道排序是NHWC
    input_image = layers.Input(shape=(im_height, im_width, 3), dtype="float32")  # output(None, 224, 224, 3)
    x = layers.ZeroPadding2D(((1, 2), (1, 2)))(input_image)                      # output(None, 227, 227, 3)
    x = layers.Conv2D(48, kernel_size=11, strides=4, activation="relu")(x)       # output(None, 55, 55, 48)
    x = layers.MaxPool2D(pool_size=3, strides=2)(x)                              # output(None, 27, 27, 48)
    x = layers.Conv2D(128, kernel_size=5, padding="same", activation="relu")(x)  # output(None, 27, 27, 128)
    x = layers.MaxPool2D(pool_size=3, strides=2)(x)                              # output(None, 13, 13, 128)
    x = layers.Conv2D(192, kernel_size=3, padding="same", activation="relu")(x)  # output(None, 13, 13, 192)
    x = layers.Conv2D(192, kernel_size=3, padding="same", activation="relu")(x)  # output(None, 13, 13, 192)
    x = layers.Conv2D(128, kernel_size=3, padding="same", activation="relu")(x)  # output(None, 13, 13, 128)
    x = layers.MaxPool2D(pool_size=3, strides=2)(x)                              # output(None, 6, 6, 128)

    x = layers.Flatten()(x)                         # output(None, 6*6*128)
    x = layers.Dropout(0.2)(x)
    x = layers.Dense(2048, activation="relu")(x)    # output(None, 2048)
    x = layers.Dropout(0.2)(x)
    x = layers.Dense(2048, activation="relu")(x)    # output(None, 2048)
    x = layers.Dense(num_classes)(x)                  # output(None, 5)
    predict = layers.Softmax()(x)

    model = models.Model(inputs=input_image, outputs=predict)
    return model


class AlexNet_v2(Model):
    def __init__(self, num_classes=1000):
        super(AlexNet_v2, self).__init__()
        self.features = Sequential([
            layers.ZeroPadding2D(((1, 2), (1, 2))),                                 # output(None, 227, 227, 3)
            layers.Conv2D(48, kernel_size=11, strides=4, activation="relu"),        # output(None, 55, 55, 48)
            layers.MaxPool2D(pool_size=3, strides=2),                               # output(None, 27, 27, 48)
            layers.Conv2D(128, kernel_size=5, padding="same", activation="relu"),   # output(None, 27, 27, 128)
            layers.MaxPool2D(pool_size=3, strides=2),                               # output(None, 13, 13, 128)
            layers.Conv2D(192, kernel_size=3, padding="same", activation="relu"),   # output(None, 13, 13, 192)
            layers.Conv2D(192, kernel_size=3, padding="same", activation="relu"),   # output(None, 13, 13, 192)
            layers.Conv2D(128, kernel_size=3, padding="same", activation="relu"),   # output(None, 13, 13, 128)
            layers.MaxPool2D(pool_size=3, strides=2)])                              # output(None, 6, 6, 128)

        self.flatten = layers.Flatten()
        self.classifier = Sequential([
            layers.Dropout(0.2),
            layers.Dense(1024, activation="relu"),                                  # output(None, 2048)
            layers.Dropout(0.2),
            layers.Dense(128, activation="relu"),                                   # output(None, 2048)
            layers.Dense(num_classes),                                                # output(None, 5)
            layers.Softmax()
        ])

    def call(self, inputs, **kwargs):
        x = self.features(inputs)
        x = self.flatten(x)
        x = self.classifier(x)
        return x

VGGNet介绍

VGG在2014年由牛津大学著名研究组VGG (Visual Geometry Group) 提出，斩获该年ImageNet竞赛中 Localization Task (定位 任务) 第一名 和 Classification Task (分类任务) 第二名。

idea

通过堆叠多个3x3的卷积核来替代大尺度卷积核 （减少所需参数） 论文中提到，可以通过堆叠两个3x3的卷 积核替代5x5的卷积核，堆叠三个3x3的 卷积核替代7x7的卷积核。

假设输入输出channel为C
7x7卷积核所需参数：7 x 7 x C x C = 49C^{2}
3x3卷积核所需参数：3 x 3 x C x C + 3 x 3 x C x C + 3 x 3 x C x C = 27C^{2}

感受野

在卷积神经网络中，决定某一层输出 结果中一个元素所对应的输入层的区域大 小，被称作感受野(receptive field)。通俗 的解释是，输出feature map上的一个单元 对应输入层上的区域大小。

感受野计算公式

F ( i ) = (F ( i + 1) - 1) x  Stride +   Ksize
F(i)为第i层感受野， Stride为第i层的步距， Ksize为卷积核或采样核尺寸 

VGGNet网络结构

  

model代码

from tensorflow.keras import layers, Model, Sequential
#import sort_pool2d
import tensorflow as tf

CONV_KERNEL_INITIALIZER = {
    'class_name': 'VarianceScaling',
    'config': {
        'scale': 2.0,
        'mode': 'fan_out',
        'distribution': 'truncated_normal'
    }
}

DENSE_KERNEL_INITIALIZER = {
    'class_name': 'VarianceScaling',
    'config': {
        'scale': 1. / 3.,
        'mode': 'fan_out',
        'distribution': 'uniform'
    }
}


def VGG(feature, im_height=224, im_width=224, num_classes=1000):
    # tensorflow中的tensor通道排序是NHWC
    input_image = layers.Input(shape=(im_height, im_width, 3), dtype="float32")
    x = feature(input_image)
    x = layers.Flatten()(x)
    x = layers.Dropout(rate=0.5)(x)
    x = layers.Dense(2048, activation='relu',
                     kernel_initializer=DENSE_KERNEL_INITIALIZER)(x)
    x = layers.Dropout(rate=0.5)(x)
    x = layers.Dense(2048, activation='relu',
                     kernel_initializer=DENSE_KERNEL_INITIALIZER)(x)
    x = layers.Dense(num_classes,
                     kernel_initializer=DENSE_KERNEL_INITIALIZER)(x)
    output = layers.Softmax()(x)
    model = Model(inputs=input_image, outputs=output)
    return model


def make_feature(cfg):
    feature_layers = []
    for v in cfg:
        if v == "M":
            feature_layers.append(layers.MaxPool2D(pool_size=2, strides=2))
        # elif v == "S":
        #     feature_layers.append(layers.sort_pool2d(x))
        else:
            conv2d = layers.Conv2D(v, kernel_size=3, padding="SAME", activation="relu",
                                   kernel_initializer=CONV_KERNEL_INITIALIZER)
            feature_layers.append(conv2d)
    return Sequential(feature_layers, name="feature")


cfgs = {
    'vgg11': [64, 'M', 128, 'M', 256, 256, 'M', 512, 512, 'M', 512, 512, 'M'],
    'vgg13': [64, 64, 'M', 128, 128, 'M', 256, 256, 'M', 512, 512, 'M', 512, 512, 'M'],
    'vgg16': [64, 64, 'M', 128, 128, 'M', 256, 256, 256, 'M', 512, 512, 512, 'M', 512, 512, 512, 'M'],
    'vgg19': [64, 64, 'M', 128, 128, 'M', 256, 256, 256, 256, 'M', 512, 512, 512, 512, 'M', 512, 512, 512, 512, 'M'],
}


def vgg(model_name="vgg16", im_height=224, im_width=224, num_classes=1000):
    assert model_name in cfgs.keys(), "not support model {}".format(model_name)
    cfg = cfgs[model_name]
    model = VGG(make_feature(cfg), im_height=im_height, im_width=im_width, num_classes=num_classes)
    return model

石奥博123
关注
  • 2
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【深度学习项目】用于图像压缩和去噪的深度 CNN 自动编码器（详细报告+代码详解）
m0_51118916的博客
06-21 5147
深度卷积神经网络（CNN）自动编码器是一种强大的工具，可用于图像压缩和去噪。本文介绍了这种先进的神经网络模型的工作原理和应用。本文我们将探讨自动编码器的基本流程。它包括编码器和解码器两个主要部分。编码器通过逐渐减小空间维度和提取有意义的特征，将输入图像压缩成低维的表示。接着，解码器将这个低维表示逐渐还原成原始的输入图像。我们将介绍深度CNN在自动编码器中的关键作用，实现使用自动编码器进行图像压缩和通过在编码过程中引入噪声来实现图像去噪的效果。
【深度学习】Python实现CNN操作（附代码）
qq_44747572的博客
10-25 1万+
文章目录0 动机1. Conv2. MaxPool3. Softmax4. Train >参考： https://zhuanlan.zhihu.com/p/102119808 （可以直接看这个） 0 动机 通过普通的神经网络可以实现，但是现在图片越来越大，如果通过 NN 来实现，训练的参数太多。例如 224 x 224 x 3 = 150,528，隐藏层设置为 1024 就需要训练参数 150,528 x 1024 = 1.5 亿 个，这还是第一层，因此会导致我们的网络很庞大。 另一个问题就是特征位置
Python CNN卷积神经网络实例讲解，CNN实战，CNN代码实例，超实用
热门推荐
L_goodboy的博客
11-29 3万+
Python CNN卷积神经网络实例讲解，CNN实战，CNN代码实例，套用简单
CNN基本原理及Python实现
vinojie的博客
05-18 1万+
CNN基本原理，和Python的简单实现过程
带你一文搞懂CNN以及图像识别（Python）
不要给自己设限，尝试更多可能（思所向 皆可往）
03-18 1376
卷积神经网络（Convolution Neural Networks，CNN）是一类包含卷积计算的前馈神经网络，是基于图像任务的平移不变性（图像识别的对象在不同位置有相同的含义）设计的，擅长应用于图像处理等任务。在图像处理中，图像数据具有非常高的维数（高维的RGB矩阵表示），因此训练一个标准的前馈网络来识别图像将需要成千上万的输入神经元，除了显而易见的高计算量，还可能导致许多与神经网络中的维数灾难相关的问题。对于高维图像数据，卷积神经网络利用了卷积核池化层，能够高效提取图像的重要“特征”，再通过后面的全连接
数字图像处理实验（二，图像去噪）（python实现）
weixin_45681381的博客
06-06 4418
基于python实现的数字图像处理实验，包括给图片添加高斯噪声以及椒盐噪声，对俩种噪声进行中值滤波和均值滤波
Python-TensorFlow架构下CNN手写体识别（一）----简介与图像预处理
emzyn的博客
04-16 1304
Python-TensorFlow架构下CNN手写体识别全套教程（一）----简介与图像预处理 一、手写体识别简介 入门级别 ，阿拉伯字符；数据集：MNIST 入门级别二，英文字符；数据集：EMNIST 骨灰级别，中文字符；建议：直接调用API，阿里云，腾讯OCR等 二、项目流程 1，图片的预处理 2，卷积神经网络的训练 3，识别图片 4，pyqt5构建简单GUI界面 Part -1 图像预处...
基于深度卷积神经网络图像去噪算法,深度卷积神经网络新算法,Python
04-28
用于图像去噪处理，使用ADM方法图像去噪处理器处理
【深度学习】越来越卷，教你使用Python实现卷积神经网络（CNN）
fengdu78的博客
12-15 1万+
@Author：Runsenhttps://blog.csdn.net/weixin_44510615/article/details/117409037卷积神经网络Yann LeCun ...
一文弄懂CNN及图像识别(Python)
小白学视觉
04-17 4357
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达一、卷积神经网络简介 卷积神经网络（Convolutional Neural Networks, CNN）是一类包含卷积计算的前馈神经网络，是基于图像任务的平移不变性（图像识别的对象在不同位置有相同的含义）设计的，擅长应用于图像处理等任务。在图像处理中，图像数据具有非常高的维数（高维的RGB矩阵表示），因此训练一个标准的前馈网络...
人工智能：深度学习算法及应用——简单理解CNN卷积神经网络并python实现（带源码）
weixin_43973089的博客
04-20 1万+
实验四：深度学习算法及应用一、 实验目的二、 实验要求三、 实验的硬件、软件平台四、 实验原理1.1. 深度学习概述1.2. 深度学习的常见结构1.3. 卷积神经网络（CNN）**卷积****池化**全连接网络1.4. 卷积神经网络的大致结构1.5. 参数学习五、 实验内容与步骤1. 深度学习工具安装1.1. 使用pip命令安装tensorflow-gpu 1.9.01.2. 下载安装CUDA Toolkit 9.01.3. 下载cuDDN7.1.43. CNN设计4. 具体实现**最后，主要的学习过程如下
CNN（卷积神经网络）python代码
11-27
CNN实现MNIST分类，在测试集上实现准确率0.99，TensorFlow实现，容易上手
python tensorflow基于cnn实现手写数字识别
09-20
主要为大家详细介绍了python tensorflow基于cnn实现手写数字识别，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
基于python+tensorflow的cnn验证码识别
最新发布
05-08
基于Python和TensorFlow的卷积神经网络（CNN）验证码识别是一个常见的应用，可以用于自动化处理需要验证码验证的网站或应用程序。下面是一个基本的验证码识别的示例代码： ```python import tensorflow as tf from ...
使用python+tensorflow 2实现了CNN经典模型AlexNet
10-05
使用python+tensorflow 2实现了CNN经典模型AlexNet
python tensorflow CNN 框架
11-16
python tensorflow CNN 框架，包括Data Augmentation，Batch Normalization，Tensorflow的结果可视化等
python实现归一化去噪_使用具有批量重新归一化的深度CNN进行图像去噪(Neural Networks,2020)...
weixin_39622283的博客
11-28 421
Image denoising using deep CNN with batch renormalization（BRDNet）by Chunwei Tian, Yong Xu and Wangmeng Zuo is publised in Neural Networks, 2020. (https://www.sciencedirect.com/science/article/pii/S089...
基于DnCNN的图像和视频去噪
小白学视觉
04-11 8008
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达简介随着数字图像数量的增加，对高质量的图像需求也在增加。然而，现代相机拍摄的图像会因噪声而退化。图像中的噪声是图像中颜色信息的失真，噪声是指数字失真。当在夜间拍摄时，图像变得更嘈杂。该案例研究试图建立一个预测模型，该模型将带噪图像作为输入并输出去噪后的图像。深度学习的使用这个问题是基于计算机视觉的，CN...
Python卷积神经网络CNN
weixin_39559994的博客
01-30 2233
Python卷积神经网络CNN
python 基于tensorflow实现cnn文本处理
05-26
使用TensorFlow实现CNN文本处理的主要步骤如下： 1. 定义输入和标签数据的占位符。 2. 定义词向量矩阵，并将输入的文本序列转换为词向量序列。 3. 定义卷积层，包括卷积核数量、卷积核大小、步长和填充方式等参数。 4. 对词向量序列进行卷积运算，并使用ReLU激活函数。 5. 对卷积结果进行最大池化，提取每个卷积核的最大值。 6. 将池化结果拼接成一个向量，并通过全连接层进行分类。 7. 定义损失函数和优化器，并进行模型训练。 以下是一个使用TensorFlow实现CNN文本处理的示例代码： ```python import tensorflow as tf import numpy as np # 定义输入和标签数据的占位符 input_x = tf.placeholder(tf.float32, [None, sequence_length, embedding_size, 1], name='input_x') input_y = tf.placeholder(tf.float32, [None, num_classes], name='input_y') # 定义词向量矩阵 embedding_matrix = tf.Variable(tf.random_uniform([vocab_size, embedding_size], -1.0, 1.0), name='embedding_matrix') embedded_chars = tf.nn.embedding_lookup(embedding_matrix, input_x) # 定义卷积层 filter_sizes = [3, 4, 5] num_filters = 128 pooled_outputs = [] for i, filter_size in enumerate(filter_sizes): with tf.name_scope('conv-maxpool-%s' % filter_size): filter_shape = [filter_size, embedding_size, 1, num_filters] W = tf.Variable(tf.truncated_normal(filter_shape, stddev=0.1), name='W') b = tf.Variable(tf.constant(0.1, shape=[num_filters]), name='b') conv = tf.nn.conv2d(embedded_chars, W, strides=[1, 1, 1, 1], padding='VALID', name='conv') h = tf.nn.relu(tf.nn.bias_add(conv, b), name='relu') pooled = tf.nn.max_pool(h, ksize=[1, sequence_length - filter_size + 1, 1, 1], strides=[1, 1, 1, 1], padding='VALID', name='pool') pooled_outputs.append(pooled) # 拼接池化结果并通过全连接层进行分类 num_filters_total = num_filters * len(filter_sizes) h_pool = tf.concat(pooled_outputs, 3) h_pool_flat = tf.reshape(h_pool, [-1, num_filters_total]) W_fc = tf.Variable(tf.truncated_normal([num_filters_total, num_classes], stddev=0.1), name='W_fc') b_fc = tf.Variable(tf.constant(0.1, shape=[num_classes]), name='b_fc') scores = tf.nn.xw_plus_b(h_pool_flat, W_fc, b_fc, name='scores') # 定义损失函数和优化器 loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits=scores, labels=input_y), name='loss') optimizer = tf.train.AdamOptimizer(learning_rate=learning_rate).minimize(loss) # 进行模型训练 with tf.Session() as sess: sess.run(tf.global_variables_initializer()) for i in range(num_epochs): sess.run(optimizer, feed_dict={input_x: x_train, input_y: y_train}) if (i + 1) % display_step == 0: acc = sess.run(accuracy, feed_dict={input_x: x_test, input_y: y_test}) print('Epoch %d, Accuracy: %.4f' % (i + 1, acc)) ``` 在这个示例代码中，我们使用TensorFlow实现了一个三层的CNN文本分类模型，其中包括一个嵌入层、一个卷积层和一个全连接层。在模型训练时，我们使用Adam优化器来最小化交叉熵损失函数。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值