qq_22841387的博客

对抗样本的迁移性特性使得攻击者能够进行黑盒攻击（即攻击者对目标模型没有任何了解），因此基于迁移的对抗攻击引起了广泛关注。以往的研究大多关注梯度变化或图像变换，以放大输入关键部分的扰动。这些方法在迁移相似模型时表现良好，例如从卷积神经网络（CNNs）迁移到另一个CNN，但在迁移跨越较大差异的模型时总是失败，比如从CNN迁移到视觉Transformer（ViTs）。作为替代方案，提出了模型集成对抗攻击。

在计算机视觉领域，基于事件的动态视觉传感器（DVSs）已成为传统基于像素的成像技术的重要补充，原因在于其低功耗和高时间分辨率。这些传感器，特别是在与脉冲神经网络（SNNs）结合使用时，为能效高、反应迅速的视觉系统提供了有前景的方向。通常，DVS数据会被转换为网格格式，以便与SNNs一起处理，但这一转换过程往往是管道中不透明的步骤。结果，网格表示成为攻击实施过程中的一个中间但无法访问的阶段，这凸显了攻击原始事件数据的重要性。

有效地阅读科研论文需要系统化的步骤。通过初步筛选、深入理解和精读研讨，读者可以全面掌握论文的核心内容和贡献，并在此基础上进行进一步的思考和研究。这种方法不仅帮助读者提高阅读效率，也有助于提升自身的科研能力和学术水平。

深度学习神经网络，如卷积神经网络 (CNN) ，在诸如物体识别等复杂的视觉问题中表现出极大的潜力。而基于脉冲神经网络 (SNN) 的架构，则显示出在使用脉冲为基础的神经形态硬件上实现超低功耗的潜力。本文提出了一种新方法，将深度 CNN 转换为 SNN，从而使其可以在基于脉冲的硬件架构上运行。我们的方法首先对 CNN 架构进行调整，使其符合 SNN 的要求然后以常规方法训练调整后的 CNN最后将训练好的网络权重应用于基于该架构的 SNN。

通过上述分析和推导，我们证明了平均池化层可以通过特定值的卷积层来实现。具体地，平均池化层的卷积核权重为 $\frac{1}{kW \times kH}$，且偏置为零。实验结果也验证了这种转换方法的有效性。

记 Frobenius 范数为∣∣⋅∣∣，则最后一层的转换误差为∣∣en∣∣∣∣xn−sˉn∣∣≤∣∣ℓ1∑n​Errℓkℓ∏n​Wk∣∣12其中Errℓclipfloorsˉℓ−ReLUsˉℓ。上述引理的详细推导如下所示。

脉冲神经网络 (Spiking Neural Network, SNN) 被认为是下一代神经网络之一。传统上，SNN 可以通过将预训练的人工神经网络 (Artificial Neural Network, ANN) 中的 ReLU 激活函数替换为脉冲激活函数，并保持参数不变来实现转换。令人惊讶的是，我们在这项工作中展示了在 ANN 转换为 SNN 的过程中，校准参数的方法可以带来显著的改进。我们介绍了一种名为 SNN 校准的新方法，这是一种廉价但非常有效的技术，通过利用预训练的 ANN 中的知识来实现。我们

定理2：为了证明定理2，我们需要证明：∀ T,L,Ez(∣Err(ℓ)∣)δ∈[−12,12]=c(Vth(ℓ))24T,\forall \ T, L, \quad \mathbb{E}_{\mathbf{z}} \left( \left| \text{Err}^{(\ell)} \right| \right)_{\delta \in \left[-\frac{1}{2}, \frac{1}{2}\right]} = \frac{c (V_{\text{th}}^{(\ell)})^2}{4T},∀

根据引理3，我们有： $$\begin{array}{l}\left.\mathbb{E}_{\mathrm{z}_{i}}\left(\left|\frac{\theta^{(\ell)}}{N}\left\lfloor\frac{N \mathrm{z}_{i}^{(\ell)}}{\theta^{(\ell)}}+\delta\right\rfloor-\mathrm{z}_{i}^{(\ell)}\right|\right) \right\rvert\, \delta \in\left[-

然而，如果一个非负函数的期望值为 0，这意味着函数在其定义域上几乎处处为 0。换句话说，除了可能的测度为 0 的集合外，理解引理4的证明需要仔细分析各个步骤，并澄清每一步背后的数学原理。让我们一步一步地详细解析这个引理。范数是欧几里得距离，而各分量绝对值之和是一个更宽松的上界。这说明每个分量的期望为0，意味着函数在几乎处处为0。范数小于等于各分量绝对值之和。接下来，我们需要证明。

在我们证明定理一和定理二之前，我们首先引入一个重要的引理。引理3：如果随机变量 x∈[0,θ]x \in [0, \theta]x∈[0,θ] 在每个小区间 (mt,mt+1)(m_t, m_{t+1})(mt​,mt+1​) 上均匀分布，且 m0=0m_0 = 0m0​=0, mT+1=θm_{T+1} = \thetamT+1​=θ, mt=(2t−1)θ2Tm_t = \frac{(2t-1)\theta}{2T}mt​=2T(2t−1)θ​ 对于 t=1,2,⋯ ,Tt = 1, 2, \cdot

在本文中，我们提出了一种统一的ANN-SNN转换优化框架，同时考虑了性能损失（performance loss）和转换误差（conversion error）。为此，我们引入了 **SlipReLU** 激活函数，它是 threshold-ReLU 和阶跃函数的加权和。理论分析表明，在位移值 $δ ∈ [−0.5, 0.5]$ 的范围内，转换误差（conversion error）可以为零，而不是固定的0.5。我们在CIFAR数据集上评估了我们的SlipReLU方法，结果表明SlipReLU在准确性和

本文提出了 TCJA 机制，该机制创新性地重新校准了 SNN 中的时间和通道信息。具体来说，我们使用 1-D 卷积而不是通用的全连接网络来构建帧之间的相关性，从而减少计算量并提高模型性能。除了在分类任务中的出色表现外，TCJA-SNN 在图像生成任务中也表现出竞争力。据我们所知，这项研究 首次将 SNN 注意力机制应用于高层次分类和低层次生成任务 。值得注意的是，我们的方法在这两个领域都取得了最先进的性能，从而在该领域取得了显著进展。然而，插入 TCJA 仍然导致参数数量相对大幅增加。

我们首次指出“偏差误差”对转换有很大影响 。此外，我们从理论上揭示了“偏差误差”由 **尖峰阈值** 和 **输入方差** 控制 。基于严谨的分析，我们提出了一种称为 TTRBR 的方法，通过 ReLU 激活输出和 IF 神经元发放率之间的关系，将非常深的 ResNet 转换为转换为相应的 SNN。在 TTRBR 方法中，我们引入了两种减少转换误差的方法：(1) 调整 IF 神经元的阈值，以平衡转换过程中的“量化误差”和“偏差误差”；(2) 修改 ResNet 中残差块的结构以减少“偏差误差”。

在本文中，我们回顾了Boost方法，这是分类和回归中最有效的机器学习方法之一。虽然我们也讨论了边际观点（margin point of view），但主要采用梯度下降的视角。文章特别介绍了分类中的 AdaBoost 和回归中的各种 L2Boosting 版本。同时，我们还为实践者提供了如何选择基础（弱）学习器和损失函数的建议，并给出了相关软件的使用指引。Boosting 是一种现代统计方法，起源于20世纪90年代中期的机器学习，用于分类和回归。

在本文中，我们分析了之前的Spiking ResNet，其残差块模仿了ResNet的标准块，发现它几乎无法实现恒等映射，并且存在梯度消失/爆炸的问题。为了解决这些问题，我们提出了SEW残差块，并证明其可以实现残差学习。ImageNet、DVS Gesture和CIFAR10-DVS数据集上的实验结果表明，我们的SEW残差块解决了退化问题，通过简单增加网络深度，SEW ResNet可以实现更高的准确率。我们的工作可能为‘非常深’的SNNs的学习带来启示。

这段代码实现了一个训练ResNet块并逐层训练的过程。这个过程结合了Boost解析命令行参数加载数据；定义打印函数；加载ResNet模型并构建块分块的意义；数据增强函数模型评估函数；初始化模型统计数据逐层训练模型；保存模型核心代码初始化部分；1.初始化阶段(主循环)2.计算代价函数；3.获取当前分类层4.1优化器设置4.2训练循环关于opt.gammaThresh和gamma获取训练样本批次；数据变换和前向传播；获取梯度和更新权重打印和梯度裁剪计算gamma值；为什么这样处理负数的情况?尝试次数和权重更新

我们证明了一种多通道伸缩和合提升（multi-channel telescoping sum boosting）理论，适用于ResNet架构，同时提出了一种新的技术用于在特征上进行提升（相对于标签）并提供了一种新的算法用于ResNet风格的架构。我们提出的训练算法，BoostResNet，特别适用于 。我们的方法只需要相对低成本的对T个“浅ResNet”进行顺序训练。我们证明了如果我们训练的弱模块分类器的表现稍好于某个弱基线，训练误差会随着深度T指数级下降。换句话说， 我们提出了一种 弱学习条件 ，并在此

Heaviside 算子Hx0ifx01ifx≥0Hx01​ifx0ifx≥0​它的作用是将输入信号根据某个阈值进行二值化处理。可以理解为一个开关，当输入信号达到或超过某个阈值时，开关“打开”，输出1；否则开关“关闭”，输出0。在脉冲神经网络中，Heaviside 算子用于模拟神经元的发放行为。StHUt−θStHUt−θ其中UtU(t)Ut是膜电位，θ\thetaθ是发放阈值，StS(t)St是脉冲信号。

问题二：脉冲神经网络中编码方式是怎样的？速率编码（Rate Coding）：将输入强度转换为神经元的发送速率或者脉冲计数。例如在亮度较高的输入会导致神经元以更高的频率发送脉冲，而较暗的输入则会导致较低频率的脉冲发放。延迟编码（Latency Coding）：将输入强度转换为脉冲发放的时间，即脉冲的延迟时间。例如，亮度较高的输入可能会导致神经元最先发放脉冲，而较暗的输入则可能最后发送脉冲，或者根本不发送脉冲增量调制（Delta Modulation）：将输入强度的变化转换为脉冲信号。

LIF（Leaky Integrate-and-Fire）神经元是一种简单而常用的脉冲神经元模型，用于模拟神经元的活动。

大脑是寻找灵感以开发更高效神经网络的完美场所，其内部突触和神经元的内部运作（原理）让我们得以看到深度学习未来可能的模样。本文作为教程展示如何将过去十几年的在深度学习梯度下降反向传播神经科学研究的经验运用到生物学上合理的脉冲神经网络。我们还探讨了将数据编码为脉冲信号与学习过程之间的微妙相互作用；将基于梯度的学习应用于脉冲神经网络 (SNN) 的挑战与解决方案。

在本文中，我们提出了PROMPTBOOSTING，一种有效的黑盒模型调优框架。在不访问预训练语言模型参数和梯度的情况下，PROMPTBOOSTING能够使语言模型适应各种下游任务。==**高效的弱学习器构建方法结合ADABOOST集成算法**== ，使得PROMPTBOOSTING在黑盒调优设置中实现了最先进的性能，且运行效率至少提高了10倍。