【CNN vs 传统神经网络】

武帝为此

已于 2023-09-14 09:27:40 修改

阅读量1k

点赞数

分类专栏：数学建模文章标签：神经网络 cnn 人工智能 python 深度学习 tensorflow

于 2023-09-14 09:25:52 首次发布

本文链接：https://blog.csdn.net/qq_66726657/article/details/132869024

版权

数学建模专栏收录该内容

103 篇文章 13 订阅

订阅专栏

文章目录

1. 神经网络概述

传统多层神经网络

传统多层神经网络，也称为全连接神经网络（Fully Connected Neural Networks），是最早的神经网络形式之一。它由多个神经元层组成，每个神经元与前一层的每个神经元都连接在一起。这种全连接结构使得传统神经网络在处理图像等高维数据时存在一些问题。

卷积神经网络

卷积神经网络是一种专门设计用于处理图像和空间数据的神经网络。CNN引入了卷积层，池化层和全连接层。其中，卷积层通过卷积操作在输入数据上提取特征，池化层用于下采样和减小特征图的尺寸，最后通过全连接层进行分类或回归任务。CNN的核心思想是共享权重和局部感受野，这使得它在图像处理中表现出色。

2. CNN的核心结构

卷积神经网络包括三个主要结构：

a. 卷积层（Convolutional Layer）

卷积层是CNN的核心组成部分之一。它通过卷积操作在输入数据上滑动一个可学习的滤波器（也称为卷积核），从输入数据中提取特征。每个卷积核负责检测输入数据中的某种特定模式或特征，例如边缘、纹理等。卷积操作的参数共享特性使得CNN在处理图像时非常高效。

b. 池化层（Pooling Layer）

池化层用于减小特征图的尺寸并降低计算复杂度。最常见的池化操作是最大池化（Max Pooling）和平均池化（Average Pooling）。池化层通过在每个区域中选择最大值或平均值来减小特征图的大小，同时保留重要的信息。这有助于提高模型的鲁棒性和泛化能力。

c. 全连接层（Fully Connected Layer）

全连接层是传统神经网络的一部分，用于将前面的卷积和池化层提取的特征映射转化为最终的分类或回归结果。每个神经元与前一层的所有神经元相连接，这使得全连接层具有较大的参数数量。在CNN中，通常在卷积和池化层后添加全连接层以进行最终的任务处理。

3. 卷积如何计算

3.1. 卷积核（Convolutional Kernel）

卷积核是卷积神经网络中的一个关键组件，也称为滤波器。它是一个小型的矩阵，通常是3x3或5x5的方阵，用于从输入图像中提取特征。卷积核包含了一组权重，这些权重在卷积操作中用于计算输出特征图的值。

每个卷积核都可以学习不同的特征，例如边缘、纹理、形状等。通过训练过程，卷积神经网络会自动调整卷积核的权重，以便从输入数据中提取出对任务有用的特征。这种权重共享的策略使得卷积神经网络在处理大规模图像数据时非常高效。

3.2. 卷积操作的计算过程

卷积操作是卷积神经网络的核心，它通过卷积核在输入数据上滑动并执行一系列乘法和累加操作来提取特征。

步骤1：卷积核的滑动

卷积核以一定的步幅（stride）在输入数据上滑动，开始在输入的左上角位置。步幅定义了卷积核每次移动的像素数量。

步骤2：元素乘法

在每个位置，卷积核与输入数据的对应区域进行元素乘法。这意味着卷积核中的每个元素都与输入数据中的对应元素相乘。

步骤3：累加

对于每个位置，将元素乘积的结果累加起来，得到输出特征图中的一个值。这个值表示了卷积核在输入数据的当前位置检测到的特征的强度。

步骤4：移动和填充

卷积核继续在输入数据上滑动，重复上述计算过程，直到覆盖整个输入数据。如果输入数据的边缘不足以容纳卷积核，通常会在输入边缘周围填充一些像素值，以确保卷积操作的有效执行。

步骤5：生成特征图

重复上述过程，卷积核在输入数据上滑动并计算输出特征图的每个值。最终，这些值组成了输出特征图，其中的每个值表示了卷积核在输入数据的不同位置检测到的特征。

卷积操作的关键之处在于卷积核的权重和滑动过程。通过学习适当的权重，卷积核可以捕获输入数据中的不同特征，从而使卷积神经网络能够有效地处理图像和其他空间数据。

在卷积神经网络（CNNs）中，零填充（Zero Padding）是一项重要的技术，它用于处理卷积操作中输入数据的边缘情况。在本部分，我们将介绍什么是零填充以及它的作用。

4. 零填充

4.1. 什么是零填充？

零填充是一种在输入数据周围添加零值的策略，以扩展输入数据的尺寸。这些零值通常添加到输入数据的边缘，以确保卷积操作可以在边缘位置进行有效计算。零填充的大小通常由填充数量或填充尺寸来定义。

a. 填充数量（Padding Number）

填充数量指的是在输入数据的边缘添加多少个零值。例如，如果我们在每个边缘添加一个零值，那么填充数量就是1。

b. 填充尺寸（Padding Size）

填充尺寸指的是添加的零值的矩阵大小。通常，我们使用一个大小为N x N的零矩阵，其中N是填充尺寸的大小。这个零矩阵会被添加到输入数据的边缘。

4.2. 零填充的作用

a. 保持特征图尺寸

在卷积操作中，卷积核在输入数据上滑动，而且通常是通过步幅（stride）来控制滑动的幅度。如果没有填充，卷积操作在滑动时会逐渐减小特征图的尺寸，导致边缘信息的丢失。通过添加零填充，我们可以保持特征图的尺寸，确保卷积操作能够在边缘位置捕获有效的特征。

b. 改善边缘特征捕获

图像的边缘通常包含重要的信息，例如物体的边界或纹理边缘。零填充可以确保卷积核能够有效地扫描整个输入图像，包括边缘区域，从而改善对边缘特征的捕获。

c. 网络设计的灵活性

零填充还提供了网络设计的灵活性。通过调整填充数量或填充尺寸，可以控制卷积操作的输出尺寸，从而适应不同的网络架构和任务需求。

4.3. 示例代码

以下演示如何在TensorFlow中使用零填充进行卷积操作：

import tensorflow as tf
from tensorflow.keras import layers, models

# 创建一个简单的CNN模型并添加零填充
cnn_model = models.Sequential([
    layers.Conv2D(32, (3, 3), activation='relu', input_shape=(64, 64, 3), padding='same'),
    layers.MaxPooling2D((2, 2)),
    layers.Conv2D(64, (3, 3), activation='relu', padding='same'),
    layers.MaxPooling2D((2, 2)),
    layers.Flatten(),
    layers.Dense(64, activation='relu'),
    layers.Dense(10, activation='softmax')
])

# 编译模型并进行训练
cnn_model.compile(optimizer='adam',
                  loss='sparse_categorical_crossentropy',
                  metrics=['accuracy'])

在上述示例中，padding='same'参数用于指定零填充，确保卷积操作的输出尺寸与输入尺寸相同。

池化层（Pooling Layer）是卷积神经网络（CNNs）中的一个关键组件，用于减小特征图的尺寸并降低计算复杂度。在本部分，我们将介绍池化层的原理以及它在CNN中的作用。

5. 池化层的原理

池化层的主要目标是减小特征图的空间维度，同时保留重要的特征信息。最常见的池化操作是最大池化（Max Pooling）和平均池化（Average Pooling）。

a. 最大池化（Max Pooling）

最大池化在每个池化窗口（通常是2x2或3x3的大小）内选择最大值，并用该最大值代替整个池化窗口的值。这意味着只有最显著的特征值被保留，而其他信息被抛弃。最大池化有助于保持图像的边缘、纹理和形状等重要特征。

b. 平均池化（Average Pooling）

平均池化在每个池化窗口内计算所有值的平均值，并用平均值代替整个池化窗口的值。这种操作平均了局部特征，有助于降低噪声，但可能会导致某些特征的丧失。

6. 池化层的作用

a. 降低计算复杂度

随着网络层数的增加，特征图的尺寸会快速增大，导致计算和存储成本增加。池化层通过减小特征图的尺寸，降低了后续层的计算复杂度，使得网络更加高效。

b. 特征不变性

池化操作具有局部不变性，即它对输入数据的小位移或微小变化具有一定的鲁棒性。这有助于使模型对输入数据的微小变化更加稳定，提高了模型的泛化能力。

c. 特征选择

通过选择每个池化窗口内的最大值或平均值，池化层有助于保留最显著的特征信息，抑制了不重要的特征。这有助于模型更好地集中注意力并提取重要的特征。

d. 减小过拟合风险

池化层的降维效果有时可以减小模型的参数数量，从而降低过拟合的风险。这是因为减小特征图尺寸会减少网络的参数数量，使模型更容易泛化到新数据。

7. 示例代码

以下演示如何在TensorFlow中使用最大池化层进行池化操作：

import tensorflow as tf
from tensorflow.keras import layers, models

# 创建一个简单的CNN模型并添加最大池化层
cnn_model = models.Sequential([
    layers.Conv2D(32, (3, 3), activation='relu', input_shape=(64, 64, 3)),
    layers.MaxPooling2D((2, 2)),
    layers.Conv2D(64, (3, 3), activation='relu'),
    layers.MaxPooling2D((2, 2)),
    layers.Flatten(),
    layers.Dense(64, activation='relu'),
    layers.Dense(10, activation='softmax')
])

# 编译模型并进行训练
cnn_model.compile(optimizer='adam',
                  loss='sparse_categorical_crossentropy',
                  metrics=['accuracy'])

在上述示例中，MaxPooling2D层用于添加最大池化操作，其中的(2, 2)表示池化窗口的大小。

池化层在CNN中起着降低计算复杂度、提高特征稳定性、减小过拟合风险等重要作用。合理使用池化层有助于提高模型性能和泛化能力。

8. CNN和传统神经网络的对比

参数共享

CNN中的卷积操作采用参数共享的策略，这意味着在卷积层中使用的滤波器权重在整个输入上共享。这减少了模型的参数数量，使其更容易训练，并且对于大规模图像数据集而言非常高效。而在传统神经网络中，每个神经元都有独立的权重，导致模型参数大幅增加。

层次结构

CNN的层次结构是其关键特点之一。通过交替使用卷积和池化层，CNN能够逐渐减小特征图的尺寸，同时保留重要的特征。这有助于捕获图像中的局部特征和整体特征，使CNN在图像分类和物体检测等任务中表现出色。传统神经网络通常只包含全连接层，无法有效处理高维数据。

特定任务

CNN被广泛用于图像识别、物体检测、语义分割等与图像处理相关的任务。传统神经网络更适用于一般的数据建模和回归问题。在处理图像等空间数据时，CNN通常更具优势。

9. 示例代码

下面演示如何使用TensorFlow创建一个简单的CNN和一个传统多层神经网络来进行图像分类：

import tensorflow as tf
from tensorflow.keras import layers, models

# 创建一个简单的CNN模型
cnn_model = models.Sequential([
    layers.Conv2D(32, (3, 3), activation='relu', input_shape=(64, 64, 3)),
    layers.MaxPooling2D((2, 2)),
    layers.Conv2D(64, (3, 3), activation='relu'),
    layers.MaxPooling2D((2, 2)),
    layers.Flatten(),
    layers.Dense(64, activation='relu'),
    layers.Dense(10, activation='softmax')
])

# 创建一个传统多层神经网络模型
nn_model = models.Sequential([
    layers.Flatten(input_shape=(64, 64, 3)),
    layers.Dense(128, activation='relu'),
    layers.Dense(64, activation='relu'),
    layers.Dense(10, activation='softmax')
])

# 编译模型并进行训练
cnn_model.compile(optimizer='adam',
                  loss='sparse_categorical_crossentropy',
                  metrics=['accuracy'])

nn_model.compile(optimizer='adam',
                 loss='sparse_categorical_crossentropy',
                 metrics=['accuracy'])