深度学习入门（F）：通道、Head等常见概念

Joy T

于 2024-08-18 11:38:58 发布

阅读量1k

点赞数 26

分类专栏：机器学习文章标签：深度学习人工智能

本文链接：https://blog.csdn.net/qq_65052774/article/details/141268911

版权

机器学习专栏收录该内容

24 篇文章 0 订阅

订阅专栏

在神经网络中，术语“通道”主要指的是卷积神经网络（CNN）或相关网络结构中的数据维度。每个通道可以视为一种特征探测器，对输入数据中的不同特征进行响应。例如，在处理图像数据时，初始的通道可能是颜色通道（红、绿、蓝），而在更深层的网络中，每个通道可能代表更复杂的图像特征，如边缘、纹理或形状的某个方面。

通道的概念

输入通道（In_channels）：指的是输入数据的深度。对于图像来说，这通常是颜色通道的数目（例如，彩色图像通常有三个通道：红、绿、蓝）。【就是数据的维度】
输出通道（Out_channels）：卷积层输出的特征图（feature maps）的数量。每个输出通道都由一个独立的卷积核生成，这些卷积核可以捕捉输入数据的不同特征。

通道容量

通道容量指的是网络中通道的数量，这影响了网络能够捕捉的信息量和复杂性。增加通道数量通常可以提高网络的表示能力，但同时也会增加计算负担和模型的参数数量。
宽度（Width）因子通常用于控制网络层中通道的数量，是对通道容量的一种缩放。例如，如果原始模型的某层有128个通道，将宽度因子设置为2意味着在这个宽度扩展的模型版本中，该层将有256个通道。

神经网络中的"Head"

在神经网络中，特别是在进行多任务学习或具有多个输出的网络（例如同时进行分类和回归）时，“head”通常指网络的最后几层，这些层被定制用于特定的任务。例如，在目标检测网络中，可能有一个head用于分类（识别对象的类别），另一个head用于回归（预测对象的边界框）。

Head的结构

分类Head：通常包含一些全连接层（或密集层），它们将特征图（来自网络的前面部分的输出）转换为类别概率。在图像分类任务中，最后一个层通常使用softmax激活函数，以输出每个类别的概率。
回归Head：也使用一些全连接层，但最后输出的是连续值而非概率。这些值对应于任务的具体需求，如物体的坐标、大小等。

在很多深度学习模型中，网络的前面部分（通常称为“backbone”）负责提取特征，而后面部分（即“head”）则用这些特征来完成具体的任务。例如，在图像处理中，backbone 可能是一个通用的特征提取器，如ResNet或VGG网络，而head部分则根据具体任务定制，可能是几层全连接层（对于分类任务）或卷积层（对于像素级任务如分割或者回归任务）。

在复杂任务中，通过在网络结构中增加或调整这些head的设计，可以有效地使网络适应多种输出需求。每个head在训练时可以专注于不同的损失函数，优化不同的性能指标。通过精心设计这些结构，可以使得单个模型在多个任务上同时表现良好。

归一化与标准化

归一化（Normalization）和标准化（Standardization）是两种常用的数据预处理方法，用于调整数据的尺度：

归一化：

目的是将数据调整到一个特定的范围，通常是0到1，也可以是其他范围。
公式通常是：(x−min(x))/(max(x)−min(x))(x - \text{min}(x)) / (\text{max}(x) - \text{min}(x))(x−min(x))/(max(x)−min(x))，其中x是原始数据，min(x)和max(x)分别是数据的最小值和最大值。
这种方法使得数据在0到1之间变化，有助于处理那些默认参数适应较小数值范围的算法。

标准化：

目的是将数据调整为均值为0，标准差为1的状态。
公式是：(x−μ)/σ(x - \mu) / \sigma(x−μ)/σ，其中μ\muμ和σ\sigmaσ分别是数据的均值和标准差。
这种方法确保数据具有零均值和单位方差，适用于那些假设输入特征为正态分布的算法。

两者都是为了减少不同特征间尺度差异带来的影响，但归一化更多地被用于数据受到严格范围限制的场合，而标准化则广泛用于需要数据正态性的模型中。

归一化技术

以下三种归一化技术都是用来提高深度学习模型训练效率和稳定性的，简单说明：

1. Batch Normalization (BatchNorm)

概念：Batch Normalization（批归一化）是通过对每一批数据的同一特征通道进行标准化处理，使输出更加稳定。它主要用于解决所谓的“内部协变量偏移”问题，即模型训练时各层输入数据分布的变化。
作用：帮助模型更快收敛，还可以稍微充当正则化，可能帮助减轻模型过拟合。

2. Group Normalization (GroupNorm)

概念：Group Normalization是另一种归一化方法，它将通道分成若干组，然后对每组内的数据进行标准化。这种方法不依赖于批次大小，适用于批次大小较小或变动较大的情况。
作用：GroupNorm在小批量数据训练中表现得比BatchNorm更稳定，因为它不受批次大小的影响。

3. Layer Normalization (LayerNorm)

概念：Layer Normalization与前两者不同，它在单个样本的所有激活上进行归一化，即跨通道和空间维度（对于图像数据）。这意味着它对每个样本独立进行操作，不受其他样本的影响。
作用：LayerNorm经常用在循环神经网络（RNNs）中，特别适合处理时间序列数据。它帮助网络在处理长序列时保持稳定性。

这三种归一化技术各有优势，选择哪一种主要取决于具体应用场景、数据特点和网络结构。在卷积神经网络中，BatchNorm和GroupNorm更常见，而在循环神经网络中，LayerNorm的使用更普遍。