handsomeboysk的博客

SAEA 算法通过将代理模型与进化算法相结合，在计算代价高昂的优化问题中提供了一种高效的解决方案。通过灵活选择代理模型、动态调整探索与利用的策略，SAEA 不仅提升了优化效率，还拓展了进化算法的应用范围。未来，随着计算机硬件的进步和代理模型算法的优化，SAEA 在复杂多目标优化中的应用前景将更加广阔。

是一个功能强大的工具，可以帮助我们编写更健壮的代码，但也需要谨慎使用。合理应用它可以提升代码的可读性和可维护性，而过度依赖可能会限制代码的灵活性。，从而违反了鸭子类型的原则。在 Python 中，更多时候我们应该依赖对象的行为，而非其具体类型。是 Python 的内置函数，用于检查一个对象是否是指定类或类型的实例，或者是其子类的实例。函数是一个非常有用的工具。这对于需要支持多种类型的情况非常有用，例如函数参数校验。在 Python 中，类型检查是一项常见的任务，而。的使用都能帮助我们编写更健壮的代码。

（可分离卷积）是一种优化卷积计算的方法，将普通卷积操作分解成两个更简单的操作，以减少计算量和参数量，同时保持较高的准确性。深度可分离卷积是目前应用最广泛的可分离卷积形式（如 MobileNet、Xception）。: 可分离卷积是一种有效的优化技术，通过降低计算复杂性，在轻量化模型中得到广泛应用，同时保持了较高的模型性能。卷积中，普通卷积需要 9 次乘法，而分解后只需要。

优化器是深度学习中用于调整网络参数（如权重和偏置）以最小化损失函数的算法。不同的优化器具有不同的特点，适用于不同的任务和数据集。

如Sigmoid和Tanh的梯度范围较小。当输入较大或较小时，梯度趋近于0（函数饱和区域）。这两个问题通常在深度神经网络中出现，特别是在反向传播过程中，会严重影响网络的训练效果。在反向传播时，梯度值逐层减小，导致靠近输入层的权重几乎没有更新，网络难以学习有效特征。在反向传播时，梯度值逐层增大，最终导致权重更新过大，数值溢出或训练不稳定。初始权重过大，反向传播时梯度随层数增加而指数级放大。若每层的梯度值小于1，梯度会指数级衰减。若每层梯度值大于1，梯度会指数级增长。深度增加时，累乘的梯度可能引发爆炸。

激活函数输出范围是否有梯度消失问题计算复杂度常用场景Sigmoid01(0, 1)01有高二分类、浅层网络Tanh−11(-1, 1)−11有高二分类、浅层网络ReLU0∞0∞无（有死神经元）低深层网络Leaky ReLU−∞∞−∞∞无低深层网络，负值敏感任务ELU−α∞−α∞无中深层网络Softmax01(0, 1)01有高多分类输出层Swish−∞∞−∞∞无中性能提升任务。

通道注意力机制主要关注特征图的通道维度，为每个通道分配一个权重，从而对重要通道进行强化，对无关通道进行抑制。这种机制可以看作是特征选择的一种方式，目的是让网络更加专注于对任务有贡献的特征。SE模块通过Squeeze和Excitation两步操作，利用全局通道信息为每个通道分配权重，从而动态调整网络的特征响应。这种机制让网络能够更加精准地关注关键通道，显著提升了模型的性能，同时引入的计算开销很小，是一种高效、灵活的注意力机制。

Softmax 函数通常用于多类分类问题中，将一个实数向量（未归一化的 logits）转化为一个概率分布。Pyiexp⁡logiti∑jexp⁡logitjPyi​∑j​explogitj​explogiti​​logitilogiti​是第iii个类别的得分（logit），这些值通常是神经网络的输出。exp⁡⋅exp⋅是指数函数，用于将 logits 映射到正数。

是 Python 中的一个内建函数，用于遍历可迭代对象（如列表、元组、字符串等）时，返回每个元素的索引和元素本身。它常常用于同时需要索引和元素的情况。返回的对象被转换为一个列表，其中每个元素是一个包含索引和元素的元组。循环或转换成其他数据结构（如列表）可以访问这些索引和元素。和字典推导式配合使用，生成一个以索引为键、元素为值的字典。对象，它是一个迭代器，包含了每个元素的索引和值。也可以用于字符串，返回每个字符的索引和字符本身。时同时获取元素的索引和值。

LSTM 和 LSTMCell 都遵循以下 LSTM 的核心机制，但使用方式不同。

的每一行向量会在训练过程中通过梯度下降优化，使得这些向量捕捉到输入索引的语义或特征关系。嵌入向量的维度允许模型学习到输入索引之间的隐式语义关系。，Embedding 层会从矩阵中取出第。嵌入层的核心是一个可以学习的矩阵。Embedding 是一种将。一个随机初始化的嵌入矩阵。

初始化：随机初始化架构参数α\alphaα和权重www。循环优化Step 1：在验证集上更新架构参数α\alphaααα−ηα∇αLvalw−ξ∇wLtrainwαααα−ηα​∇α​Lval​w−ξ∇w​Ltrain​wααStep 2：在训练集上更新网络权重wwwww−ηw∇wLtrainwαww−ηw​∇w​Ltrain​w。

ENAS：ENAS通过共享参数的方式，将架构搜索过程简化成一个单一的训练过程。在ENAS中，所有子网络共享相同的参数，因此在搜索阶段不需要为每个候选网络重新训练。具体来说，ENAS将整个搜索空间表示为一个大型图结构，每条边代表一个操作（如卷积、池化等），每个路径表示一个子网络。ENAS通过控制器（通常是一个RNN）来选择图中的路径，从而定义一个特定的子网络架构。DARTS：DARTS使用一种连续松弛的策略，将架构搜索转化为一个可微分的优化问题。

背景：架构搜索中的操作选择问题在神经网络架构搜索（NAS）中，我们需要从一系列候选操作中选择适合每个节点的操作。这些操作可能包括卷积（Convolution）、池化（Pooling）、跳跃连接（Skip connection）等。在传统的 NAS 方法中，我们需要从这些候选操作中选择一个离散的操作，这会导致搜索过程较为复杂。DARTS 的创新点在于将这个离散的选择转化为连续权重优化问题，通过一个 Softmax 函数，使得每种操作都有一个连续的权重，从而可以用梯度下降等优化方法来学习。主要概念梳理

全局平均池化（Squeeze操作）zc1H×W∑i1H∑j1WXcijzc​H×W1​i1∑H​j1∑W​Xc​ijExcitation操作sσW2⋅ReLUW1⋅zsσW2​⋅ReLUW1​⋅z))重新加权操作Xcsc⋅XcXc​sc​⋅Xc​总结。

*AP（平均精度）**衡量的是模型对单一类别的检测效果。它是精度和召回率的结合，反映了模型在所有可能的召回率阈值下的平均精度。Precision（精度）：预测正确的正样本数占总预测为正样本数的比例。Recall（召回率）：预测正确的正样本数占实际正样本数的比例。在目标检测任务中，通常通过不同的置信度阈值生成一组不同的Precision和Recall值，绘制成PR曲线（Precision-Recall Curve）。AP则是PR曲线下的面积，表示模型在各个召回率水平下的平均检测精度。mAP。

FPN是一种多尺度特征提取网络，最初由 Tsung-Yi Lin 等人在2017年提出。FPN通过结合不同分辨率的特征图，来生成包含不同尺度信息的特征金字塔。FPN结构一般是在卷积神经网络（例如 ResNet）基础上增加的，用于目标检测任务中，以提高模型对小目标和大目标的检测能力。金字塔型特征（pyramid-type feature）指的是一种多尺度特征表示。通过这种特征表示，模型能够在多个尺度上检测物体，无论目标物体大小如何，都可以找到合适的尺度进行检测。FPN。

特点阶段数两阶段：候选区域生成 + 分类回归单阶段：直接分类和边界框回归代表模型检测速度较慢较快检测精度较高（适合复杂场景）较低（适合实时应用）应用场景对精度要求高的检测任务对速度要求高的实时检测任务总结：Two-stage detector适用于对检测精度要求较高的应用，而One-stage detector则适合实时性较高的任务。

（Bayesian Decision Theory）是一种基于概率论的决策框架，用于处理不确定性和优化决策。它结合了贝叶斯定理和期望风险最小化的思想，广泛应用于分类、识别等问题中。

自注意力机制是 Transformer 的核心组件，负责建模输入序列中元素之间的全局依赖关系。是一种以自注意力机制为基础的神经网络架构，摒弃了传统的循环神经网络（RNN）和卷积神经网络（CNN），并通过多头自注意力机制和前馈神经网络来处理序列数据。Transformer 的架构设计简洁高效，尤其适合并行计算，使其在自然语言处理、计算机视觉等领域取得了突破性进展。