qq_22841387的博客

感知机（Perceptron）是一种简单的神经网络模型，主要用于解决的分类问题。它的基本结构如图所示，包括多个输入、权重、阈值和一个激活函数。在感知机的工作过程中，来自每个输入节点xi​的信号被赋予对应的权重wi​，然后汇聚到感知机内。图来自《机器学习（西瓜书）》_周志华：第五章：神经网络图中展示了第i个神经元的计算过程：首先计算所有输入的加权和，即∑i1n​wi​xi​。接着，这个加权和会减去一个阈值θ，并传递给激活函数f进行处理，从而生成输出y。yfi。

运动（Motion）：相机的姿态，即相机在空间中的位置和方向，通过旋转矩阵（R）和位移向量（t）描述。运动信息的恢复帮助我们确定相机在拍摄不同图像时的相对位置和视角。结构（Structure）：物体的三维几何形状，通常是场景的三维点云。通过对多张图像的分析，SfM可以生成稀疏的三维点云模型，甚至可以在进一步的多视图立体视觉（Multi-View Stereo, MVS）处理中生成更为密集的模型。本质矩阵EEE。

Mean-Shift作为一种无参数的图像分割方法，通过基于密度的迭代移动，能够自适应地识别图像中的密度峰值区域，实现有效的分割。其无需预设簇数量、对复杂图像具备鲁棒性等优点，使其在多种图像分割任务中表现良好。然而，计算复杂度和带宽选择的限制对其应用提出了较高要求。在实践中，可以通过优化算法实现和合理的带宽设定，来平衡分割精度与计算代价，发挥Mean-Shift在复杂场景中的潜力。

输入图像：加载两幅具有重叠区域的图像。特征点检测：使用 SIFT 算法提取图像中的关键特征点。特征点匹配：匹配两幅图像中的特征点。图像变换：通过匹配到的特征点计算单应性矩阵，用于将第二幅图像变换到第一幅图像的坐标系中。图像合成：对第二幅图像进行透视变换后与第一幅图像合成。裁剪边缘：去除拼接后的黑色边缘，输出最终结果。在本实现中，我们将利用 OpenCV 的一些函数来简化特征检测和匹配过程，但会深入讲解每一步背后的数学原理。

修改训练脚本train.py，使其在每次训练结束后自动将参数和性能指标记录到 CSV 文件中。编写 Bash 脚本，自动执行训练指定次数，并将结果追加到 CSV 文件中。使用 Pandas 等工具加载 CSV 文件，以表格形式查看不同实验的参数和精度，并选择最佳的实验结果。这种方法可以有效减少手动记录的工作量，提升实验管理的效率，使我们可以轻松对比不同参数组合的效果并选出最佳模型。

通过递归划分特征，决策树将复杂的分类问题逐步分解为简单的条件判断。我们使用信息增益选择最优特征，直到满足停止条件。最终生成的决策树结构直观、易解释，能够根据特征的不同取值来预测是否适合打网球。决策树的构建过程清晰体现了数据集划分的逐步细化，通过特征选择、子集划分与递归处理，生成了一棵结构化的树来进行分类任务。这一模型不仅简洁直观，也为实际应用中的分类问题提供了强有力的支持。

霍夫变换是一个通过将图像中的形状检测问题转换为参数空间中的峰值检测问题的强大工具，尤其擅长检测直线、圆等基本几何形状。它能够很好地应对噪声和不完整的形状，特别适合在复杂图像中检测几何特征。边缘检测：使用如Canny等算法获取图像中的边缘信息。参数空间投票：通过极坐标公式将图像中的点映射到参数空间，并在累积器数组中投票。峰值检测：累积器数组中的峰值对应图像中的直线或形状。通过这种方式，霍夫变换不仅可以处理简单形状的检测问题，而且具有一定的鲁棒性，即使在存在噪声或遮挡时仍然能够有效检测目标。

VGG网络的全称是，最著名的模型是VGG16和VGG19，分别包含16层和19层可训练的权重。VGG16 和 VGG19 中的 “16” 和 “19” 分别代表网络中包含的可训练权重层（即卷积层和全连接层）的总数。VGG16由 13 个卷积层和 3 个全连接层组成，因此总共有 16 个具有可训练权重的层。VGG19则有 16 个卷积层和 3 个全连接层，总共有 19 个具有可训练权重的层。需要注意的是，池化层不包含在这个计数中，因为池化层没有可训练参数。

如果我们选择了异常点来计算模型，那么结果模型的支持点（内点）数量会非常少。这个思路也就是 RANSAC 的基本出发点——为了避免异常点对拟合模型的影响，我们通过一种随机采样的方式，去尝试找到能够得到大部分数据点支持的模型。

给定一个包含nnn个数据点的集合Xx1x2xnXx1​x2​xn​，每个数据点xi∈Rdxi​∈Rd是一个ddd维向量，表示数据的特征。我们的目标是将这些数据点分成kkk个簇，记为C1C2CkC1​C2​Ck​，其中每个簇CjC_jCj​中的数据点彼此之间相似性较高。在 K-means 中，我们用欧氏距离来度量数据点与质心之间的距离。假设簇CjC_jCj​的质心为μj\mu_jμj。

在图像处理中，角点是非常重要的特征。为了快速、准确地检测角点，Harris 提出了 Harris 角点检测算法，它基于局部窗口内图像梯度的变化来判断角点。本文将从最基础的孔径问题（Aperture Problem）入手，通过泰勒展开和向量乘法的形式逐步推导 Harris 角点检测的过程，并给出特征值分析和角响应函数的详细解释。

当一个神经元（前脉冲神经元）先发出脉冲，而另一个神经元（后脉冲神经元）随后发出脉冲时，前脉冲神经元的信息对后脉冲神经元产生了积极的影响。相反地，如果后脉冲神经元先发出脉冲，而前脉冲神经元较晚发射，那么前脉冲神经元的信息对于后脉冲神经元的作用较小，连接会被削弱（即突触权重减少）。在神经网络的学习过程中，突触可塑性（Synaptic Plasticity）是指神经元之间的连接强度（突触权重）随着时间的推移而动态变化的能力。尖峰神经网络模仿了生物神经元的脉冲发射机制，通过脉冲的时间序列编码信息。

在机器学习领域，深度神经网络的强大表现令人印象深刻，尤其是在图像分类等任务上。然而，随着对深度学习的深入研究，研究人员发现了神经网络的一个脆弱性：对抗样本（Adversarial Examples）。简单来说，对抗样本是通过对原始输入数据添加微小扰动，导致神经网络预测错误的一类特殊样本。是最早提出的一种简单且有效的对抗攻击方法。它通过利用神经网络的梯度信息，快速生成对抗样本。本篇博客将深入剖析 FGSM 的数学原理，并提供一份基于 PyTorch 的代码实现，帮助你快速上手对抗攻击。

1. **基于梯度的攻击**是白盒场景下的强大攻击方法，但其对黑盒场景的适应性较差，且容易被对抗训练等防御策略抵消。2. **基于转移的攻击**通过生成具有迁移性的对抗样本提升了黑盒攻击的成功率，但在新型深度学习架构上效果有限。3. **模型集成攻击**通过结合多个模型的信息提升了对抗扰动的泛化能力，但需要更多的计算资源，且在利用个体模型的独特性上仍有改进空间。

图像特征是图像中容易被辨认、独特并且与其他区域不同的部分。它们往往包含了丰富的信息，比如图像中的重要物体位置或边缘变化。关键点特征：这是图像中具有显著性、能通过不同视角和光照变化保持相对稳定的点。通常是图像中容易定位或识别的兴趣点。边缘：图像中颜色、亮度或纹理发生显著变化的区域。边缘通常对应着物体的轮廓或界限。例如，角点（如建筑物的拐角）是图像中常见的关键点，而边缘则常用于检测物体的轮廓、区分不同的物体。在图像配准、物体检测等任务中，找到这样的特征至关重要。

在传统的机器学习任务中，训练集和测试集往往来自 **相同的数据分布 $P$** 。然而，对抗攻击通过在输入数据上引入极其微小的扰动，使得输入数据的分布发生了细微的改变。这种变化对于人类而言几乎无法感知，但对于模型，可能引发极大差异，甚至导致分类结果的完全错误。模型的这种脆弱性源自它们在高维特征空间中对某些输入特征的过度敏感性。

*人工神经网络（ANN）**中的神经元采用连续的激活函数，如ReLU、Sigmoid或Tanh等，激活值可以是任意实数。这种方式虽然能够实现复杂的非线性映射，但其计算能耗较高，且不具备生物神经元的事件驱动特性。**脉冲神经网络（SNN）**的工作原理与ANN有显著区别。SNN的神经元使用脉冲（spike）作为信息载体，激活方式通过离散脉冲的形式表现。每个神经元的发放过程是基于输入电压的累积，当累积的电压达到某个阈值时，神经元会“发放”脉冲信号。

我们计划使用原生Python代码直接训练SNN，并在相同的精度、超参数和网络结构下与SpikingJelly进行精度对比。以下是基准方法和相关教程的链接：>[时间驱动：使用单层全连接SNN识别MNIST — SpikingJelly alpha 文档](https://spikingjelly.readthedocs.io/zh-cn/0.0.0.0.8/clock_driven/3_fc_mnist.html)在直接训练SNN时，我们需要实现以下三个方面：1. **LIF神经元**：实现充电、

我们从最简单的网络结构开始：一个输入层、两个隐藏层和一个输出层。假设我们要解决的是一个二分类问题，输入层有2个节点，隐藏层有4个节点，输出层有1个节点。激活函数我们先使用Sigmoid；网络结构如下所示这里需要最好还是使用两个隐藏层，因为较好的提取对应的特征我们已经详细实现了一个三层神经网络的反向传播算法，并逐步拆解了各个过程。前向传播计算输出。计算损失函数。反向传播计算梯度。利用梯度更新参数。重复上述步骤训练网络。

Sigmoid 函数是神经网络中常用的激活函数，因其平滑的S形曲线和将输入压缩至 (0, 1) 的特性，在神经网络的激活函数中扮演着重要角色。σx1e−x1​其中，e是自然常数，约等于 2.718。Sigmoid 函数的输出范围为 (0, 1)，这使它特别适合作为二分类问题中输出层的激活函数。

通过理解监督学习与无监督学习的基本概念及其背后的数学原理，我们能够更有信心地构建和应用机器学习模型。泛化能力的提升、归纳偏好的选择以及对 NFL 定理的理解，都为我们在实际应用中选择合适的算法提供了理论基础。

通过将“Hard”选择转变为“Soft”选择，Softmax函数不仅为分类任务提供了概率分布，还通过指数函数的巧妙使用，放大了类别之间的差距。然而，在实际应用中，我们需要注意数值稳定性问题，通过适当的变换避免计算溢出。此外，了解Softmax的局限性和改进方法，能够帮助我们在更多复杂场景下更好地应用这一函数。最后，当与交叉熵损失函数配合使用时，Softmax函数展现出了极高的效率和有效性，使得它成为神经网络分类任务中的标准工具。

动量（Momentum）来源于物理学中的动量概念。在机器学习中，动量通过积累之前梯度的指数加权平均来实现。简单来说，动量优化算法在更新模型参数时，不仅依赖当前的梯度，还考虑了之前梯度的方向。这种方法有助于模型在训练过程中更加稳定和高效地向最优解前进。动量优化算法通过引入惯性，使得梯度下降过程更加平稳和高效。动量因子为 0.9 表示当前更新不仅依赖于当前梯度，还包括前一次更新方向的 90%。这种方法能够更快地跳过局部极小值并减少振荡，从而加速收敛过程。希望这篇博客能够帮助你更好地理解动量优化算法的原理和优势。

CIFAR（Canadian Institute For Advanced Research）数据集是由多伦多大学的Alex Krizhevsky和Geoffrey Hinton等人创建的。CIFAR数据集主要用于图像分类任务，广泛用于机器学习和计算机视觉研究。ImageNet是由斯坦福大学的Fei-Fei Li教授领导的团队创建的。ImageNet是一个大规模的图像数据库，旨在推动计算机视觉和深度学习的发展。ImageNet中最著名的子集是用于ImageNet大规模视觉识别挑战赛（ILSVRC）的数据集。

虽然 ReLU 在很多应用中表现良好，但它也有一些缺点，如“死亡 ReLU”问题（一些神经元在训练过程中可能永远不会被激活，即输出一直为零）。与其他需要复杂数学运算的激活函数相比，ReLU 的实现更加高效，特别适合大型神经网络的训练。这种特性导致了所谓的“稀疏激活”，即在某些输入条件下，网络中的很多神经元会输出 0。这意味着如果输入的数据大部分或全部是负值，ReLU 的输出将全部为 0，这会导致信息丢失并使模型无法学习。：ReLU 激活函数的计算非常简单，只需要比较输入值和零的大小，然后取较大值。

Batch Size 是指在一次训练迭代（iteration）中传递给神经网络进行前向传播和后向传播的数据样本数量。整个数据集通常不会一次性传递给模型，而是分成多个较小的批次，每个批次逐步传递给模型进行训练。

在本文中，我们回顾了Boost方法，这是分类和回归中最有效的机器学习方法之一。虽然我们也讨论了边际观点（margin point of view），但主要采用梯度下降的视角。文章特别介绍了分类中的 AdaBoost 和回归中的各种 L2Boosting 版本。同时，我们还为实践者提供了如何选择基础（弱）学习器和损失函数的建议，并给出了相关软件的使用指引。Boosting 是一种现代统计方法，起源于20世纪90年代中期的机器学习，用于分类和回归。

跳跃连接（Shortcut Connection），又称为“短路连接”或“直连”，是一种直接将输入信号传递到输出信号的技术。具体来说，就是在每个残差块中，除了正常的变换路径外，还增加了一条直接连接输入和输出的路径。跳跃连接的引入：在每个残差块中，除了对输入特征进行卷积、归一化和激活等操作外，还增加了一条直接传递输入特征到输出的路径。公式中的体现：输出特征不仅包含变换后的特征，还加上了输入特征，即。缓解梯度问题。

AdaBoost 原本是为二分类问题设计的，但可以扩展到多分类问题。常用的方法包括 One-vs-All (OVA), AdaBoost.MH (Multiclass, Multi-Label) 和 AdaBoost.MR (Multiclass Ranking)。下面对每种方法进行详细介绍。数学原理:训练过程:预测过程:通俗解释:对于每个类别，训练一个分类器来区分该类别和其他类别。最后，通过比较所有分类器的预测得分，选择得分最高的类别作为最终分类结果。数学原理:初始化权重:迭代过程:最终分类器:通俗解释:

我们在理解Adaboost算法原理的过程中，一定要注意前面提到的两个问题：1. 权重是如何由$G_m(x)$的分类误差决定的2. 对于$G_m(x)$，如何提高前一轮错误的权值，降低正确的权值第一个巧思：损失函数视为权值这个特性就非常适合作为我们adaboost算法的其中一个问题：**==对于$G_m(x)$如何提高前一轮错误的权值，降低正确的权值==**所以这里我们就可以将损失函数当成一个权值来看；## 第二个巧思：优化 $\alpha_m$

在前面我们已经明白了如何进行AdaBoost算法的基本操作，但我们还不清楚这些公式是如何得来的，以及为什么要这样做。接下来，我们将详细讲解这些公式的推导过程及其背后的原因。AdaBoost算法属于Boosting类型的算法，其基本思路是通过组合多个弱分类器来构建一个强分类器。由于它是一个加法模型，我们可以通过训练来优化模型中的参数。前向分布算法 VS 梯度下降方法：在优化加法模型时，我们可以采用前向分布算法来替代传统的梯度。这两种方法的主要区别在于参数更新的方式和计算复杂度。

AdaBoost是一种通过不断迭代、逐步优化的机器学习算法。通过自适应地调整样本权值和弱分类器权重，能够有效地提升分类器的性能。在实际应用中，适当选择基分类器类型和迭代次数，对于提高算法的分类效果至关重要。

集成学习方法通过组合多个基学习器，提高了模型的预测能力和鲁棒性。Boosting和Bagging作为集成学习的两种主要策略，通过不同的机制和策略来提升模型的性能。Boosting通过 ==串行训练== 和加权调整样本权重，重点关注难分类的样本，而Bagging通过 ==并行训练== 和随机抽样生成多样化的训练集，提升模型的稳定性和准确性。

AdaBoost（Adaptive Boosting）算法，全称为 **自适应提升** ，是 **一种在机器学习中用作集成方法的提升技术** 。它之所以被称为自适应提升，因为每个实例的权重会重新分配，==错误分类的实例分配较高的权重==。它属于boosting算法家族，其核心思想是通过迭代训练多个弱分类器（weak classifiers），每个弱分类器针对之前迭代中被错误分类的样本进行`重点训练`，最终将这些弱分类器组合成一个强分类器。

零阶优化（Zero-Order Optimization）是一种优化方法，用于在没有显式梯度信息的情况下优化目标函数。与常见的梯度下降法不同，零阶优化不依赖于目标函数的梯度，而是通过直接评估目标函数值来引导优化过程。这种方法特别适用于那些目标函数不可导、复杂或未知的情况。

在深度学习领域中，我们经常处理的是独立同分布（i.i.d）的数据，比如图像分类、文本生成等任务，其中每个样本之间相互独立。然而，在现实生活中，许多数据具有时序结构，例如语言模型中的单词序列、股票价格随时间的变化、视频中的帧等。对于这类具有时序关系的数据，传统的深度学习模型可能无法很好地捕捉到其内在的 时间相关性 。为了解决这一问题，循环神经网络（Recurrent Neural Network, RNN）被广泛应用于处理时序数据。首先，让我们来了解一下常见的循环神经网络结构。在 RNN 中，隐藏状态会随着时

在本文中，我们提出了PROMPTBOOSTING，一种有效的黑盒模型调优框架。在不访问预训练语言模型参数和梯度的情况下，PROMPTBOOSTING能够使语言模型适应各种下游任务。==**高效的弱学习器构建方法结合ADABOOST集成算法**== ，使得PROMPTBOOSTING在黑盒调优设置中实现了最先进的性能，且运行效率至少提高了10倍。

链式法则（Chain Rule）是微积分中的一个重要法则，用于计算复合函数的导数。它告诉我们，如果一个函数fff可以表示为另一个函数ggg的复合，即fgxf(g(x))fgx))，那么fff对xxx的导数可以分解为fff对ggg的导数乘以ggg对xxx的导数。ddxfgxf′gx⋅g′xdxd​fgx))f′gx))⋅g′x在多维空间中，函数fff的梯度∇f\nabla f∇f。

伯努利试验是指只有两种可能结果的随机试验，通常称为“成功”和“失败”。在我们的例子中，“成功”表示发生脉冲（记为1），“失败”表示不发生脉冲（记为0）。设 (X) 是一个随机变量，表示一次试验的结果。(X) 取值1的概率为 (p)，取值0的概率为 (1 - p)。PX1pPX1pPX01−pPX01−p在速率编码中，每个像素值XijX_{ij}Xij​被视为在每个时间步长上进行一次伯努利试验，成功的概率pXijp = X_{ij}pX。

泄漏积分-触发（Leaky Integrate-and-Fire，LIF）神经元模型是一种用来模拟生物神经元电活动的简单模型。该模型将神经元视为一个带有和的 RC电路 ，描述了神经元膜电位随时间的变化。当膜电位超过某个阈值时，神经元会发出一个脉冲。RC 电路是由电阻 (Resistor, R) 和电容 (Capacitor, C) 组成的简单电路。这两种元件各自具有特定的电学特性：脉冲神经元的膜电位动态特性与 RC 电路的电压动态特性非常相似。以下几点解释了这种类比：具体来说，RC 电路作为低通滤波器，能