【深度学习专业名词释义（偏计算机视觉）】持续更新.....

已于 2023-12-13 22:12:46 修改
阅读量1k 收藏 9
点赞数 5
文章标签： 深度学习 计算机视觉 人工智能
于 2023-11-26 21:49:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41457511/article/details/134572336
版权

深度学习专业名词术语释义

神经网络结构

神经元结构

名词术语释义功能
Neuron（神经元）深度学习中的基本计算单元，通常包含一个加权输入的和和一个非线性激活函数。/
Weights（权重）神经网络中用于输入数据加权的参数，是网络通过学习过程中调整的主要对象。/
Bias（偏置）神经网络中的另一组参数，与权重相结合来控制神经元的激活阈值。/
Activation Function（激活函数）用于引入非线性的函数，常见的有ReLU、Sigmoid、Tanh等。

在这里插入图片描述
注：W为权重，b为偏置，σ为激活函数。

神经元的线性函数使用的是y = wx +b 而不是其他的非线性函数或者其他的线性函数？
在神经网络中，每个神经元的输出通常由输入的加权和加上一个偏置项来计算，这个线性计算可以表示为
：y=wx+b

  • y 是神经元的输出。
  • w 是权重，表示输入 * x 对输出 y 的影响程度。
  • x 是输入。
  • b 是偏置项，它提供了一个可调整的阈值，决定了神经元激活的难易程度。
    这种形式的线性函数之所以被广泛使用，有几个原因：
  1. 模型简单性：线性函数
    y=wx+b 是最简单的一类函数，只有两个参数：斜率 w 和截距 b。这种简单性使得模型容易理解和实现。
  2. 可学习性：在神经网络中，w 和 b 是可以通过学习数据来调整的参数。这意味着网络可以通过学习找到最佳的 w 和 b 来逼近目标函数。
  3. 仿射变换：y=wx+b 实际上是一个仿射变换（affine transformation），它是线性变换的一种，可以提供平移和缩放。在多维空间中，这种变换能够改变数据的分布，为非线性激活函数提供更有利的输入。
  4. 叠加性：线性函数的输出可以很容易地叠加，即多个神经元的输出可以简单地相加以形成下一层的输入。这种叠加性质在神经网络的设计中非常重要。
  5. 梯度传播：在反向传播算法中，线性函数的梯度（导数）是常数，这意味着梯度可以有效地通过网络传播，而不会立即消失或爆炸（尽管在深层网络中这仍然可能发生）。

如果使用其他类型的线性函数，比如没有偏置项的 y=wx，神经网络会失去一定的灵活性，因为没有偏置项，每个神经元就无法独立地调整其激活阈值。偏置项允许神经元即使在输入为零时也能有非零的输出，这在很多情况下是有用的，比如当我们想要模型能够捕捉到输入中的偏差时。
因此，使用 y=wx+b 这样的线性函数是为了保持模型的简单性和灵活性，同时使得模型能够适应数据的不同分布，并有效地通过学习调整参数。而非线性部分，则是使用了激活函数。
总的来说，使用y=wx+b，使得模型简单的同时兼具有灵活性和可学习性，而激活函数又能增肌网络的非线性表达能力。

ReLu激活函数：
Alt

神经网络主要构成

按层次划分
名词术语释义
层 （Layer）神经网络中的一个处理级别，由一组神经元构成。
输入层 （Input Layer）网络的第一层，接受原始数据的输入。
隐藏层 （Hidden Layer）位于输入层和输出层之间的网络层，可以有多个。
输出层 （OutputLayer）在神经网络中，输出层是网络的最后一层，负责将从前面的隐藏层学到的表示转换为具体的输出，如分类标签、连续值或其他形式的预测。输出层的设计取决于特定的任务和所需的输出类型。

在这里插入图片描述

按模块划分
名词术语释义功能
Backbone"Backbone"通常指的是神经网络的主体部分，它负责提取输入数据的特征。在图像处理任务中，backbone通常是一个预训练的卷积神经网络（CNN），如ResNet、VGG、Inception或MobileNet。这些网络通过多个卷积和池化层来提取图像的低级、中级和高级特征。在迁移学习的情况下，backbone通常会使用在大型数据集（如ImageNet）上预训练的权重。负责提取输入数据的特征
Neck"Neck"是连接backbone和head的部分，它的作用是进一步处理特征，使其更适合后续的任务。不是所有的网络架构都明确区分neck部分，但在一些复杂的模型中，如目标检测或实例分割模型中，neck可以执行特征金字塔网络（FPN）或其他特征融合和增强的操作。连接backbone和head的部分，它的作用是进一步处理特征
Head"Head"通常指的是网络的最终部分，它根据backbone提取的特征来完成特定的任务，如分类、检测、分割等。例如，在目标检测网络中，head可能包括用于边界框回归的层和用于分类的层。在不同的任务中，head的结构会有很大差异。据backbone提取的特征来完成特定的任务
Block我们在使用神经网络的时候，可以N次堆叠 layer，通常我们把这样的一种由多个 layer 组成的模块叫做 block，这种 block 就是一种比 layer 更大规模的可复用单元。/

YOLOv5神经网络架构
在这里插入图片描述

网络中的常见隐藏层

名词术语释义功能
卷积层（Convolutional Layer）在卷积神经网络（CNN）中使用的特殊隐藏层，用于提取图像特征用于提取输入数据中的局部特征
池化层（Pooling Layer）用于降低特征维度和提取重要信息的网络层，常见的有最大池化（Max Pooling）和平均池化（Average Pooling）用于降低特征维度和提取重要信息
全连接层（Fully Connected Layer）也是隐藏层的一种，也可以被称为密集连接层（Dense Layer）或者全连接层（Fully Connected Layer）。全连接层可以将输入特征与每个神经元之间的连接权重进行矩阵乘法和偏置加法操作，从而得到输出结果。在全连接层中，每个神经元都与上一层的所有神经元相连，每个输入特征都与每个神经元之间都存在一定的连接权重。整合特征、决策（分类任务中，输出前的概率分布）、增强非线性能力
归一化层（Normalization Layer）如批归一化（Batch Normalization）层，用于调整前一层的输出，以减少内部协变量偏移并加速训练。除此之外还有层归一化（Layer Normalization）、实例归一化（Instance Normalization）、组归一化（Group Normalization）等高训练过程的稳定性和加快收敛速度
随机失活层（Dropout层）一种正则化技术，它在训练过程中随机丢弃（即设置为零）一部分神经元的输出，以避免过拟合。增加网络非线性处理能力，防止过拟合
嵌入层（Embedding Layer）在处理类别输入数据时使用，如将单词转换为密集的向量表示。常用于自然语言处理（NLP）任务。/
残差层（Residual Layer）在残差网络（ResNet）中使用，包含跳跃连接（或快捷连接），允许网络学习恒等映射，有助于训练更深的网络。缓解梯度消失、加快收敛、允许更深的网络增强特征传播
注意力层（Attention Layer）用于加权输入的不同部分，以便网络能够集中注意力于最重要的信息。在变压器（Transformer）模型中尤其重要。为模型提供一种动态的信息过滤机制，让网络关注输入的关键信息，提高了模型的性能和灵活性
稠密层（Dense Layer）另一种说法是全连接层，但有时用于特别指代作为输出层之前的最后一个全连接层。/

损失函数、前向传播和反向传播

名词术语释义功能
损失函数损失函数（Loss Function），也称为代价函数（Cost Function），在机器学习和深度学习中用来量化模型的预测值与实际值之间的差异。损失函数是一个衡量模型预测错误程度的非负实值函数，训练神经网络的目标就是通过优化算法（如梯度下降）来最小化损失函数。提供了一个优化目标，使得模型能够在训练过程中改进，也为模型的性能提供了评价标准。
前向传播前向传播是神经网络计算输出的过程。在这个过程中，输入数据在网络中从输入层流向输出层，经过每一层时都会进行相应的变换。 步骤包括：1、输入层接收数据：输入层的神经元接收原始数据。2、加权和偏置：数据通过与每个神经元相关联的权重相乘，并加上偏置。3、激活函数：加权和加偏置后的值被送入激活函数，激活函数通常是非线性的，使得网络能够学习和模拟非线性关系。4、传递到下一层：激活函数的输出成为下一层的输入。5、重复过程：以上过程在每一层重复，直到最后一层。6、输出层产生最终结果：最后一层的输出是网络的最终输出，它可以是分类的概率、回归的数值或其他形式的预测。前向传播的主要功能是根据当前的权重和偏置值，计算神经网络对给定输入的预测输出。
反向传播反向传播是神经网络训练中用于优化权重的算法。当前向传播完成后，网络的输出会与实际的目标值进行比较，计算出预测误差。 步骤包括：1、计算误差：使用损失函数（如均方误差或交叉熵损失）计算预测输出与实际标签之间的差异。2、计算梯度：计算损失函数关于网络权重的梯度，这通常通过链式法则进行。3、反向传递梯度：将这些梯度从输出层反向传递到输入层，过程中更新每层的权重梯度。4、权重更新：使用梯度下降或其他优化算法，根据计算出的梯度来调整权重，目的是减少损失。反向传播的主要功能是通过计算损失函数相对于每个权重的梯度，并使用这些梯度来更新权重，从而使得网络的预测输出更接近实际的目标值，即优化网络的性能。
  • 总结来说，前向传播和反向传播是神经网络训练的两个互补过程：前向传播负责生成预测结果，反向传播负责根据预测结果和实际结果之间的误差来优化网络参数，以便在未来的前向传播中产生更准确的输出。

常见神经网络结构

名词术语释义
前馈神经网络（FNN）前馈神经网络（Feedforward Neural Networks, FNN）是最简单的人工神经网络架构之一，在这种网络中，信息只在一个方向上流动，从输入节点流向输出节点，可能会经过一个或多个隐藏层，但不会形成任何循环或环。这种“前馈”的特性意味着网络中的信号只在一个方向上传播，即从输入层到隐藏层，再从隐藏层到输出层。
卷积神经网络（CNN）主要用于图像处理的神经网络类型。
循环神经网络（RNN）适用于时间序列数据或文本数据的神经网络类型。
长短期记忆网络（LSTM）一种特殊的RNN，能够学习长期依赖信息。
生成对抗网络（GAN）由生成器和判别器组成，用于生成数据的神经网络结构。

其他一些常见名词

名词术语释义
感知机（Perceptron）感知机通常指单层的神经网络结构，它只有输入层和一个输出节点，输出节点是一个线性分类器，通常使用阶跃函数作为激活函数。
多层感知机（Multilayer Perceptron，简称 MLP）一种前馈人工神经网络模型，它扩展了原始感知机的概念，通过引入一个或多个隐藏层来解决非线性问题。也可以被理解以一种非常基础的神经网络，CNN、RNN等神经网络都是以此为基础的变体形式。
损失函数（Loss function）也称为目标函数（Objective function）或代价函数（Cost function），是用来衡量模型预测值与真实值之间差异的函数。在机器学习和深度学习中，损失函数用于指导模型的训练过程，通过最小化损失函数来优化模型的参数。
特征提取器（Feature Extractor）通常指backbone部分，负责从原始数据中提取有用的特征。
特征图（Feature Map）由卷积层生成的多维张量，包含了输入数据的空间特征。
锚框（Anchor Box）在目标检测任务中使用的一种先验框，用于作为候选对象检测的参考。
感受野（Receptive Field）网络中一个神经元所能"看到"的输入数据的区域。在这里插入图片描述
填充（Padding）Padding（填充）是一种在输入数据周围添加额外值（通常是零）的技术，用于在卷积神经网络（CNN）和其他层中处理边界效应和尺寸不匹配的问题，保持特征图尺寸的一致性。
步幅（Stride）是指卷积操作中卷积核在输入数据上滑动的步长。Stride决定了每次滑动的距离，从而影响输出特征图的尺寸。在这里插入图片描述
滤波器（Filter）常指卷积神经网络（CNN）中的卷积核（convolutional kernel）或滤波器矩阵。卷积神经网络使用滤波器来进行特征提取和图像处理。
信道（Channel）是指表示数据在不同特征维度上的分离和组织方式。通常，通道在卷积神经网络（CNN）中用于处理多个特征图或多个输入信号。
上采样（Upsampling） 和 下采样（Downsampling）分别指增加和减少特征图的空间分辨率的操作
跳跃连接（Skip Connection）一种网络连接方式，允许从一个层的输出直接连接到后面层的输入，有助于缓解梯度消失问题，常见于ResNet架构。
端到端（End-to-End）指的是一个完整的流程，通常从输入数据到最终输出结果，不需要人为干预的步骤。
端到端学习（End-to-End Learning）一种设计哲学，旨在通过单个模型直接从原始数据到最终输出进行学习，最小化预处理和特征工程。
微调（Fine-tuning）在预训练模型的基础上，针对特定任务继续训练模型的过程。
迁移学习（Transfer Learning）利用在一个任务上学到的知识来解决另一个相关任务的过程。
多任务学习（Multi-task Learning）在一个模型中同时学习多个相关任务，共享一些通用的表示。
one-shot指的是模型能够仅通过一个样本来学会一个新的任务或者识别一个新的对象。例如，在图像识别中，模型能够仅通过查看一张猫的图片就能学会识别猫。这要求模型具有很强的泛化能力。
zero-shot是指模型在没有见过任何示例的情况下学会执行某项任务。这通常通过将知识从模型已知的类别转移到未知的类别来实现，例如，通过属性（所有猫都有尾巴，所有鸟都有翅膀）来识别新的动物类别。
few-shot介于one-shot和传统机器学习之间，指的是模型能够通过非常少量的样本（通常几个到几十个）来学会一个新的任务。这种方法通常需要先进的算法来优化模型，使其能够从很少的数据中学习到足够的信息。
自监督学习（Self-supervised learning）无监督学习不依赖任何标签值，通过对数据内在特征的挖掘，找到样本间的关系，比如聚类相关的任务
半监督学习（Semi-supervised learning）在半监督学习中，模型首先使用少量有标签数据进行训练，然后利用这些信息来处理大量无标签数据。这种方式适用于标签数据稀缺或者标注成本高昂的情况。
无监督学习（Unsupervised learning）监督学习不使用任何标签数据，而是直接从输入数据的结构中提取模式。

模型训练

神经网络的训练是指通过使用训练数据来调整神经网络的参数，使其能够学习并适应给定任务。在神经网络中，参数通常是指连接权重W和偏置（或阈值）b，它们决定了神经元之间的信息传递和计算过程。

名词术语释义
GPU一种可以并行计算的图形处理器
CUDA显卡厂商NVIDIA推出的运算平台。 CUDA™是一种由NVIDIA推出的通用并行计算架构，该架构使GPU能够解决复杂的计算问题,在深度学习中，存在着广泛的使用，一般的深度学习平台都有其对应CUDA的版本。安装时需要查看GPU支持的版本
cuDNNcuDNN（CUDA Deep Neural Network library） 是由NVIDIA开发的一个深度学习GPU加速库。 cuDNN旨在提供高效、标准化的原语（基本操作）来加速深度学习框架（例如TensorFlow、PyTorch、PaddlePaddle）在NVIDIA GPU上的运算。根据安装的CUDA版本对应安装。
Pytorch、Tensorflow、PaddlePaddle、Caffe等开源的深度学习平台
特征（Feature）输入数据的属性，用于模型训练的各种指标或测量值。
标签（Label）在监督学习中，数据的真实输出值。
样本（Sample）数据集中的一个元素，包含特征和通常在监督学习中包含标签。
迭代（Iteration）每次模型更新权重的过程，通常发生在一个批次的数据上。
权重初始化（Weight initialization）权重初始化就是在开始训练神经网络之前，先给每个神经元的权重随机赋值一个初始的值。帮助网络更快收敛。
权重更新（Weights Update）用梯度下降或其它优化算法调整权重和偏置，以减少损失。
权重冻结（Weight freezing）指在神经网络训练过程中固定（不更新）特定层或特定参数的权重。通过冻结权重，这些层或参数将在后续的训练过程中保持不变。（通过冻结权重，可以减少需要更新的参数数量，从而加快训练速度，并且可以防止已经学到的特征被过度调整。这对于数据集较小或特定任务的训练中尤为有用，因为这些情况下，模型可能更容易出现过拟合。）
验证集（Validation Set）用于在训练过程中评估模型性能的数据集，不用于训练。
测试集（Test Set）在训练完成后用于评估模型最终性能的数据集。
早停（Early Stopping）为了防止过拟合而提前终止训练的策略。
参数（Parameter）模型训练过程中学习的权重W和偏置b。
迭代（Iteration）每次模型更新权重的过程，通常发生在一个批次的数据上。
梯度消失指梯度变得非常小，几乎为零，导致权重几乎不更新，使得模型训练停滞不前。
梯度爆炸指在训练神经网络时，梯度（用于更新权重的值）变得非常大，导致权重更新过度，使得模型无法稳定学习。

常见的一些训练需要设置的参数

以YOLOv5为例：

def parse_opt(known=False):
    parser = argparse.ArgumentParser()
    parser.add_argument('--weights', type=str, default=ROOT / 'yolov5s.pt', help='initial weights path')
    parser.add_argument('--cfg', type=str, default='', help='model.yaml path')
    parser.add_argument('--data', type=str, default=ROOT / 'data/mydata.yaml', help='dataset.yaml path')
    parser.add_argument('--hyp', type=str, default=ROOT / 'data/hyps/hyp.scratch-low.yaml', help='hyperparameters path')
    parser.add_argument('--epochs', type=int, default=100, help='total training epochs')
    parser.add_argument('--batch-size', type=int, default=16, help='total batch size for all GPUs, -1 for autobatch')
    parser.add_argument('--imgsz', '--img', '--img-size', type=int, default=640, help='train, val image size (pixels)')
    parser.add_argument('--rect', action='store_true', help='rectangular training')
    parser.add_argument('--resume', nargs='?', const=True, default=False, help='resume most recent training')
    parser.add_argument('--nosave', action='store_true', help='only save final checkpoint')
    parser.add_argument('--noval', action='store_true', help='only validate final epoch')
    parser.add_argument('--noautoanchor', action='store_true', help='disable AutoAnchor')
    parser.add_argument('--noplots', action='store_true', help='save no plot files')
    parser.add_argument('--evolve', type=int, nargs='?', const=300, help='evolve hyperparameters for x generations')
    parser.add_argument('--bucket', type=str, default='', help='gsutil bucket')
    parser.add_argument('--cache', type=str, nargs='?', const='ram', help='image --cache ram/disk')
    parser.add_argument('--image-weights', action='store_true', help='use weighted image selection for training')
    parser.add_argument('--device', default='0', help='cuda device, i.e. 0 or 0,1,2,3 or cpu')
    parser.add_argument('--multi-scale', action='store_true', help='vary img-size +/- 50%%')
    parser.add_argument('--single-cls', action='store_true', help='train multi-class data as single-class')
    parser.add_argument('--optimizer', type=str, choices=['SGD', 'Adam', 'AdamW'], default='SGD', help='optimizer')
    parser.add_argument('--sync-bn', action='store_true', help='use SyncBatchNorm, only available in DDP mode')
    parser.add_argument('--workers', type=int, default=16, help='max dataloader workers (per RANK in DDP mode)')
    parser.add_argument('--project', default=ROOT / 'runs/train', help='save to project/name')
    parser.add_argument('--name', default='exp', help='save to project/name')
    parser.add_argument('--exist-ok', action='store_true', help='existing project/name ok, do not increment')
    parser.add_argument('--quad', action='store_true', help='quad dataloader')
    parser.add_argument('--cos-lr', action='store_true', help='cosine LR scheduler')
    parser.add_argument('--label-smoothing', type=float, default=0.0, help='Label smoothing epsilon')
    parser.add_argument('--patience', type=int, default=100, help='EarlyStopping patience (epochs without improvement)')
    parser.add_argument('--freeze', nargs='+', type=int, default=[0], help='Freeze layers: backbone=10, first3=0 1 2')
    parser.add_argument('--save-period', type=int, default=-1, help='Save checkpoint every x epochs (disabled if < 1)')
    parser.add_argument('--seed', type=int, default=0, help='Global training seed')
    parser.add_argument('--local_rank', type=int, default=-1, help='Automatic DDP Multi-GPU argument, do not modify')

这里挑选了一些参数进行解释

参数代表的名词释义
weights预训练模型预训练模型是已经经过大量数据集训练过的模型，可直接进行使用。也可以针对特定的任务，在基础上，进行微调或添加新的数据再训练
cfg配置文件里面存储着模型的结构参数，例如backbone的隐藏层输入输出维度，分类类别和预选框等
data训练数据标注好的训练数据
epochs训练轮数Epoch指定模型将对整个训练数据集进行几次完整的遍历。在每个Epoch中，模型将使用不同的批次进行训练，并更新模型的参数。通过增加Epoch的数量，模型有更多机会学习训练数据中的模式和特征，从而提高模型的性能和泛化能力，但同样的也会增加训练消耗的时间。
batch-size批次大小Batch size指定每个训练批次中的样本数量。在每个批次中，这些样本将被同时输入到模型中进行前向传播和反向传播，然后通过优化算法进行参数更新。较大的批次大小可以提高训练速度，因为可以并行处理更多的样本，但也需要更多的内存来存储中间结果。
imgsz指定输入图片的大小指定输入图片的大小。
evolve遗传算法是否使用遗传算法进行超参数优化，以及遗传迭代次数。
cache训练数据缓存将文件转化到内存或者硬盘中，加快训练速度。
device指定使用的计算设备如"cpu"或"cuda:0"。默认值为"cuda:0"，表示使用第一个可用的GPU设备进行训练。
multi-scale多尺度图像多尺度图像（Multi-scale Image）指的是在不同尺度上表示和处理的图像。在计算机视觉和图像处理领域，多尺度图像常用于解决物体检测、目标跟踪、图像分割等任务中的尺度变化和多尺度信息的问题。
optimizer优化器优化器（Optimizer）是深度学习中的一个关键组件，用于更新模型的参数以最小化损失函数。在训练过程中，通过不断迭代地调整模型的参数，优化器能够使模型逐渐收敛到最优解或接近最优解。深度学习中的优化器的主要目标是最小化损失函数。损失函数用于衡量模型的预测输出与真实标签之间的差异，优化器的任务是通过调整模型的参数来降低损失函数的值。
sync-bn同步批量归一化 (SyncBatchNorm)同步批量归一化（Synchronized Batch Normalization）是一种批量归一化（Batch Normalization）的变体，用于在分布式训练中处理多个GPU之间的批量归一化操作。，只在分布式训练 (DDP mode) 模式下可用，当多GPU时候启用
workers加载数据的进程数使用CPU进程来加载图像数据，例如 --workers 8 表示使用 8 个进程来加载数据
quad四进程数据加载器四进程数据加载器，在多 GPU 训练时可以有效提高数据的加载速度，但需要更多的 CPU 和内存资源。
cos-lr余弦退火学习率 (cosine learning rate) 调度器使用余弦退火算法，在训练过程中可以动态地调整学习率
label-smoothing标签平滑技术 (label smoothing)标签平滑（Label Smoothing）是一种用于改善分类模型性能和鲁棒性的技术。，使得模型对输入数据的微小扰动更加鲁棒，并且可以减少过拟合。
patience表示早停 (early stopping) 的耐心值 (patience)表示在多少个 epochs 内没有提高性能就停止训练。

Batch Size和Epoch的关系与选择
Batch size和Epoch之间的关系可以通过以下方式理解：

  • 每个Epoch需要处理的总样本数量 = Batch size × 训练数据集的样本数量。 较大的Batch size将导致每个Epoch需要更少的批次，因为每个批次包含更多的样本。相应地，较小的Batch
    size将导致每个Epoch需要更多的批次，因为每个批次包含更少的样本。

  • 训练的总迭代次数 = Batch size × Epoch。 Batch size和Epoch的乘积表示整个训练过程中的总迭代次数。这个值可以用来衡量训练的规模和计算资源的消耗。

在选择Batch size和Epoch时，需要考虑以下几点：

  • Batch size较大可以提高训练速度，但可能需要更多的内存。如果内存受限，可以选择较小的Batch size。
  • Epoch数量较大可以提高模型的性能和泛化能力，但可能需要更长的训练时间。需要根据数据集的复杂性和模型的收敛速度来选择合适的Epoch数量。

超参数

超参数（Hyperparameters）是机器学习和深度学习模型中的可调整参数，用于控制模型的行为和性能。与模型的权重和偏差不同，超参数通常在训练过程之前设置，并且需要手动选择或通过试验和调整来确定，非训练而来的。常见的超参数如下：

名词术语释义作用与功能
学习率（Learning Rate）在梯度下降中，决定权重更新幅度的超参数。学习率控制模型在每次参数更新时的步长大小。较高的学习率可能导致参数更新过大而无法收敛，而较低的学习率可能导致训练过程缓慢。选择合适的学习率是优化模型性能的关键。
批量大小（Batch Size）用于在训练过程中一次性传递给模型的一组样本。批量大小定义了每次模型更新时所使用的训练样本数量。较大的批量大小可以加快训练速度，但也增加了内存需求。较小的批量大小可以提供更稳定的梯度估计，但训练过程可能更慢。
纪元（Epoch）整个训练数据集被模型完整地通过一次的周期。迭代次数指定了模型要遍历整个训练数据集的次数。较多的迭代次数可以提高模型的训练效果，但如果过多，可能会导致过拟合。

除此之外的超参数还有：正则化参数（Regularization Parameter）、优化算法的超参数和网络结构相关超参数。

过拟合和欠拟合

名词术语释义
欠拟合（Underfitting）欠拟合指的是模型在训练数据和测试数据上都表现不佳的情况。欠拟合通常发生在模型过于简单或参数过少的情况下。当模型无法捕捉到数据中的关键特征和模式时，它可能无法在训练数据和测试数据上都取得良好的性能。
过拟合（Overfitting）过拟合指的是模型在训练数据上表现出很好的性能，但在未见过的测试数据上表现较差的情况。 过拟合通常发生在模型过于复杂或参数过多的情况下。当模型过于关注训练数据中的细节和噪声时，它可能会在训练数据上产生过高的拟合度，但对于新数据的泛化能力较差。

过拟合和欠拟合的解决方法如下：

过拟合的解决方法：

  • 数据增强（Data Augmentation）：通过对训练数据进行随机变换和扩充，增加训练样本的多样性，减少过拟合的风险。
  • 正则化（Regularization）：通过在损失函数中引入正则化项，惩罚模型的复杂性，以防止过拟合。常见的正则化方法包括L1正则化和L2正则化。
  • 提前停止（Early Stopping）：在训练过程中，根据验证数据集的性能，及时停止训练以防止过拟合。
  • 简化模型结构：减少模型的复杂度，例如减少网络层数、降低隐藏层的维度等。

欠拟合的解决方法：

  • 增加模型复杂度：增加模型的容量，例如增加网络的层数、增加隐藏层的维度等，以提高模型的拟合能力。
  • 特征工程（Feature Engineering）：通过手动设计和选择更多的特征，以提高模型对数据中关键特征的捕捉能力。
  • 收集更多的数据：增加训练数据的数量，以提供更多的样本和变化，有助于提高模型的泛化能力。

正则化

正则化技术通常是用来

名词术语释义
L1正则化在损失函数中加入权重的绝对值之和，促使部分权重变为0，从而产生一个稀疏模型，有助于特征选择。
L2正则化在损失函数中加入权重的平方和，使得权重值较小，防止权重过大导致的过拟合，通常会使模型变得更加平滑。
Dropout（随机失活）在训练过程中随机“丢弃”神经网络中的一些神经元（即将它们的输出设置为0），减少神经元之间复杂的共适应关系，增强模型的泛化能力。

优化算法

在机器学习和深度学习中，优化算法用于改进模型的参数，在训练过程中以最小化或最大化一个目标函数（通常是损失函数），以期待找到全局最优解为目标。以下是常见的一些优化算法：

名词术语释义
梯度下降（Gradient Descent）这是最基本的一种优化算法，通过计算损失函数的梯度并沿着梯度的反方向更新参数来最小化损失。
随机梯度下降（Stochastic Gradient Descent, SGD）与传统的梯度下降相比，SGD每次更新只使用一个训练样本的梯度，这使得更新更快并且可以逃离局部最小值，随机性增强。
小批量梯度下降（Mini-batch Gradient Descent）梯度下降和SGD的折衷，每次更新参数时使用小批量的数据（例如32或64个样本），既提高了计算效率，又保持了一定的稳定性。
动量（Momentum）一种旨在加速SGD的优化技术，考虑历史值，也就是通过累积过去梯度的加权平均来调整更新方向，有助于加快学习速度并减少震荡。
Adam（Adaptive Moment Estimation）结合了动量和RMSprop的优点，通过计算梯度的一阶矩估计（均值）和二阶矩估计（未中心化的方差）来自适应地调整每个参数的学习率，通常在各种不同的问题上表现得相当好。
移动平均（EMA）指数移动平均（Exponential Moving Average）也叫权重移动平均（Weighted Moving Average），是一种给予近期数据更高权重的平均方法。通常用于平滑模型参数，以提高模型在验证集和测试集上的泛化能力。这种技术经常在训练过程中用来跟踪模型参数的移动平均，从而得到更加稳定的模型版本。

模型评估与调试

名词术语释义
SOTASOTA全称是state of the art，是指在特定任务中目前表现最好的方法或模型。
Benchmark指的是一组用于评估和比较算法或系统性能的标准测试或数据集。这些测试可以是标准化的，也可以是广泛认可的，使得不同方法之间的比较变得公平和一致。
baselineBaseline是指在进行实验或开发新算法时用作参考点的基线模型或方法。在机器学习领域，baseline通常是一个广为人知的算法，可以是最基础同时性能又不错的算法，也可以是最先进、性能最好的算法（SOTA）
Metric评测指标
TP被模型预测为正类的正样本
FP被模型预测为正类的负样本
TN被模型预测为负类的负样本
FN被模型预测为负类的正样本
准确率（Accuracy）准确率是分类问题中最直观的性能度量，它衡量的是所有分类正确的样本（真正例和真负例）占总样本数的比例。它的计算公式是：
精确率或查准率（Precision）精确率关注预测为正类的样本中，实际为正类的比例。它的计算公式是：在这里插入图片描述其中，假正例（FP）是负类被错误预测为正类的数量。精确率特别适用于那些假正例的代价很高的情况。
召回率（Recall）召回率衡量的是所有实际为正类的样本中，被正确预测为正类的比例。它的计算公式是： **真正例（TP）/ (真正例（TP）+ 假负例（FP）)**
F1分数精确度和召回率的调和平均值。在这里插入图片描述F1分数的值也在0到1之间，值越高表示模型的精确率和召回率越平衡，即模型的性能越好。
IoU它衡量的是预测的边界框（或分割区域）与真实边界框（或分割区域）之间的重叠程度。IoU的值范围从0到1，值越高表示预测和真实之间的重叠越多，模型的性能越好。IoU =
ROCROC曲线是一个图形工具，用于展示分类模型在所有可能的分类阈值下的性能。它通过将真正例率（True Positive Rate, TPR）或召回率绘制在Y轴，假正例率（False Positive Rate, FPR）绘制在X轴来实现。ROC曲线下方的面积越大，表示模型的性能越好。在这里插入图片描述在这里插入图片描述
AUCAUC衡量的是ROC曲线下的面积，值介于0和1之间。AUC值越大，表示模型的分类性能越好。AUC为0.5通常意味着模型没有区分能力，等同于随机猜测；AUC为1意味着模型在这个任务上有完美的性能。在这里插入图片描述
APAP是精确率和召回率曲线下的面积，它在信息检索和对象检测任务中被用来衡量模型的性能。对于每个召回率水平，计算对应的最大精确率，然后对这些值求平均得到AP。AP值越高，表示模型的性能越好。
mAPmAP是在多个类别或多个查询上AP值的平均，常用于多类分类或多标签分类问题。在对象检测和实例分割任务中，mAP是对不同阈值的IoU计算AP之后的平均值。举个例子，在PASCAL VOC挑战中，mAP是在IoU > 0.5时计算的所有类别的AP的平均值。在COCO挑战中，mAP是在不同IoU阈值（通常是从0.5到0.95，间隔为0.05）的AP的平均值。mAP越高，表示模型的整体性能越好。
FLOPs一个衡量计算性能的指标，代表浮点运算次数，通常用来描述在执行某个任务（如训练或推理一个神经网络）时所需的计算复杂度。
混淆矩阵混淆矩阵是一个用于评估分类模型性能的表格，它展示了模型预测的类别和实际类别之间的关系。混淆矩阵只有四个元素，就是TP FP TN FN
mIOU对每个类别数据集单独进行推理计算，计算出的预测区域和实际区域交集除以预测区域和实际区域的并集，然后将所有类别得到的结果取平均。常用于图像分割领域
Kapp系数：一个用于一致性检验的指标，可以用于衡量分类的效果。kappa系数的计算是基于混淆矩阵的，取值为-1到1之间，通常大于0。Kappa系数越高模型质量越好。
Dice系数一种集合相似度度量函数，通常用于计算两个样本的相似度，取值为[0,1]。在医学图像分割中，Dice系数常被用来评估模型的分割性能
像素准确率（Pixel Accuracy，PA）
类别像素准确率（Class Pixel Accuray，CPA）
类别平均像素准确率（Mean Pixel Accuracy，MPA）

以西瓜数据集为例，我们来通俗理解一下什么是TP、TN、FP、FN。

  • TP：被模型预测为好瓜的好瓜（是真正的好瓜，而且也被模型预测为好瓜）
  • TN：被模型预测为坏瓜的坏瓜（是真正的坏瓜，而且也被模型预测为坏瓜）
  • FP：被模型预测为好瓜的坏瓜（瓜是真正的坏瓜，但是被模型预测为了好瓜）
  • FN：被模型预测为坏瓜的好瓜（瓜是真正的好瓜，但是被模型预测为了坏瓜）

简而言之，precision 就是查准率，在模型中识别出是西瓜的好瓜的比率，recall就是查全率，有多少好瓜被识别出来。

Delight-zhang
关注
深度学习入门（六）——计算机视觉简述
weixin_41480034的博客
05-28 7772
深度学习与计算机视觉数学基础卷积数学优化基础卷积神经网络基本概念卷积层和特征响应图参数共享稀疏连接多通道卷积激活函数池化、不变性和感受野LeNetAlexNetGoogleNetResNet目标检测任务分割任务分类任务 数学基础 卷积 数学优化基础 卷积神经网络 基本概念 卷积层和特征响应图 参数共享 稀疏连接 多通道卷积 激活函数 池化、不变性和感受野 LeNet AlexNet GoogleNet ResNet 目标检测任务 分割任务 分类任务 ...
神经网络动画讲解 - 权重W、偏置b和激活函数
2401_84208172的博客
08-26 1433
在神经网络中，权重（W）和偏置（b）是两个非常重要的参数，它们决定了神经元之间的连接强度和神经元的输出。权重（W）：权重是神经网络中的连接参数，用于描述不同神经元之间的连接强度。在神经网络的前向传播过程中，输入数据会与权重进行加权求和，从而影响神经元的输出。权重的大小和正负决定了输入数据对输出数据的影响程度。偏置（b）：偏置是神经网络中的一个附加参数，用于调整神经元的输出。偏置的作用类似于线性方程中的截距项，它使得神经元的输出可以偏离原点。偏置的存在使得神经网络能够学习更加复杂的函数关系。
深度学习相关概念及术语总结
weixin_43597208的博客
03-05 1665
CV通常指的是“Computer Vision”（计算机视觉）。然而，传统的RNN模型存在梯度消失和梯度爆炸等问题，为了克服这些问题，后来出现了许多改进的RNN变体，如长短时记忆网络（LSTM）和门控循环单元（GRU）等。在学术和工业界，计算机视觉一直是一个活跃的研究领域，并且随着深度学习和大数据的发展，计算机视觉技术取得了显著的进步，为图像和视频分析提供了更准确和高效的解决方案。总的来说，LSTM的设计使其能够更好地处理和记忆序列数据中的长期依赖关系，因此在处理具有长期依赖的序列数据时具有很强的表现力。
神经网络中w,b参数的作用（为何需要偏置b的解释）
热门推荐
AI_盲的博客
04-25 7万+
可视图讲解神经元w,b参数的作用 在我们接触神经网络过程中，很容易看到就是这样一个式子，g(wx+b)，其中w,x均为向量.比如下图所示： 加入激活函数为g(x)，我们就可以用公式g(w1x1+w2x2+b)(注：1,2均为下标，公众号很难打,下面所有的公式均是)来表示神经元的输出。 其中b为神经元的偏置.那么w,b这些参数的作
神经网络和深度学习-学习总结
MyArrow的专栏
05-05 3万+
1. 简介     神经网络和深度学习是由Michael Nielsen所写，其特色是：兼顾理论和实战，是一本供初学者深入理解Deep Learning的好书。 2. 使用神经网络识别手写数字 2.1 感知器(Perceptrons)      感知器工作原理：接收一系列二进制输入，经过特定的规则计算之后，输出一个简单的二进制。            计算规则：通过引入
神经网络 梯度与神经元参数w、b关系；梯度与导数关系；梯度消失与爆炸
weixin_42357472的博客
03-08 1593
∂w∂cost​参考：https://blog.csdn.net/weixin_44259490/article/details/90295146。
神经网络中 参数权重W,偏置b的作用（入门教程）
如有侵权，请联系作者删除
03-25 4913
可视图讲解神经元W,b参数的作用 在我们接触神经网络过程中，很容易看到就是这样一个式子，g(Wx+b)，其中W,x均为向量.比如下图所示： 加入激活函数为g(x)，我们就可以用下面公式 来表示神经元的输出。（对letex不熟，用图片代替一下吧！汗） 其中b为神经元的偏置.那么W,b这些参数的作用有没有最直观的感受呢？如果没有请接着往下看，每个神经元为什么要加上偏置b,不加又有什么后果呢？ 那就来...
主要包括目标检测、图像分类等计算机视觉相关资料.zip
最新发布
09-06
目前主流的基于深度学习的目标检测算法主要分为两类：Two stage和One stage。Two stage方法将目标检测过程分为两个阶段。第一个阶段是 Region Proposal 生成阶段，主要用于生成潜在的目标候选框（Bounding-box ...
计算机图形学名词解释.pdf
12-22
为了更深入理解这一领域，一份详尽的《计算机图形学名词解释.pdf》文档为我们提供了基础概念的解释和说明，帮助我们区分图形与图像、图形学的研究内容和方法，以及投影、变换和形体表示等关键技术的介绍。...
计算机图形学简答题.和名词解释.pdf
11-15
《计算机图形学简答题与名词解释解析》 计算机图形学是计算机科学中的一个重要分支，它专注于利用计算技术来生成和处理图形。图像处理、模式识别和计算机图形学虽各自独立，但相互关联。图像处理主要涉及对已有图像...
计算机视觉-目标检测.zip
09-06
目前主流的基于深度学习的目标检测算法主要分为两类：Two stage和One stage。Two stage方法将目标检测过程分为两个阶段。第一个阶段是 Region Proposal 生成阶段，主要用于生成潜在的目标候选框（Bounding-box ...
神经网络中参数权重w,偏置b的作用
weixin_42713739的博客
10-19 2502
我们都知道，神经网络学习的本质，其实就是利用损失函数来对权重参数w的不停迭代更新以期达到较好的性能。 y = weight*x + bias bias神经元的引入使您可以沿输入轴水平（左/右）移动传递函数曲线，同时保持形状/曲率不变。这将允许网络产生与默认值不同的任意输出，因此您可以自定义/更改输入到输出的映射以适合您的特定需求。bias可以上下移动线以更好地将预测与数据拟合。如果没有bias，则直线始终穿过原点（0，0），因此拟合度可能较差。 ...
深度学习-1简单的神经网络原理
dpoerpoiwetiop的博客
03-18 266
理解简单的神经网络 深度学习 最大的优点是特征工程 （提取特征值） 神经网络 就像一个黑盒子 输入 x, 输出 f(x) 存在f(x）=wx+b的关系 x是权重矩阵 b是偏置矩阵 分类或者回归任务时候 根据标签 y 和预测值f(x) 的损失 不断更新权重 w 和偏置b 当损失最小 接近于0 时候 用w b去部署应用 举例说明 假如现在需要用神经网络做CIFAR-10 分类 cifar-10...
深度学习入门：神经网络
qq_40400656的博客
09-22 340
1.从感知机到神经网络 将y={0    (w1x1+w2x2+b≤0)1    (w1x1+w2x2+b>0) y=\left\{ \begin{aligned} 0\ \ \ \ (w_1x_1+w_2x_2+b\le0)\\ 1\ \ \ \ (w_1x_1+w_2x_2+b>0)\\ \end{al...
完整教程---Python-手写-BP-实现神经网络
CoderPai的博客
05-14 1万+
作者：chen_h 微信号 &amp; QQ：862251340 微信公众号：coderpai 在这篇教程中，我会给大家介绍一些神经网络概念，实现代码和数据推导，可以帮助你更好的理解和构建一个神经网络。网上的一些教程要不侧重于数学推导，要不侧重于代码实现，这些都是非常不利于理解神经网络的。在这篇教程中，我会尽可能慢的帮助大家来理解数学推导和具体代码实现。代码我采用 Python 编写...
对神经网络中参数w和b的理解
qq_42820467的博客
09-20 4396
在学习和神经网络的过程，我们通常会遇到这样一个式子：x=wu+b,u是输入,那么到底为什么要有w和b这样的参数呢？ 发现有一个很好的文章，挂上链接 在清楚了为什么要有这两个参数，我们来探讨这两参数是如何更新的？ 根据梯度下降算法公式，令损失函数对两个参数分别求导，再进行更新。这里参考了吴恩达老师机器学习课程的相关讲义。 ...
机器学习之感知机算法原理及python实现
weixin_43509698的博客
09-13 4902
一、感知机的定义 感知机是二分类的线性分类模型，输入多个信号，输出一个信号（类别），属于判别模型。 二、感知机模型 感知机模型的公式： 其中w表示输入信号在模型公式中的权重，b输入信号在模型公式中的偏置，w•x表示w和x的内积。sign为激励函数，即激活函数： 感知机超平面的线性方程为： 为什么说w为超平面S的法向量？ 三、感知机的学习策略 假设训练数据是线性可分的，感知机的学习目标是求得一个能够将数据集正实例点和负实例点完全正确分开的超平面。为找出
线性回归的神经网络法——机器学习
公众号：风景邮递Yuan的博客
11-24 2339
根据现有的数据来求解该方程中的w和b。但由于实际问题中的数据x和y并不是都能被这个方程所描述，就像二维的散点图中，不能用一条直线来穿过所有的点，所以目标是要让这条直线能够穿过尽可能多的点，不在该直线上的点也能让它尽可能的离这条直线近。即要找到合适的w和b使得计算出来的y'与真实的y误差最小化。当给定从X的同分布中取样的新样本特征时， 这组权重向量和偏置能够使得新样本预测标签的误差尽可能小。
神经网络中的偏置项b到底是什么？
机器之心
04-09 3万+
前言 很多人不明白为什么要在神经网络、逻辑回归中要在样本X的最前面加一个1，使得 X=[x1,x2,…,xn] 变成 X=[1,x1,x2,…,xn] 。因此可能会犯各种错误，比...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值