- 博客(9)
- 收藏
- 关注
RSS订阅原创 (五)使用snntorch训练脉冲神经网络
网络框架# 定义网络fc1 对来自MNIST数据集的所有输入像素应用线性变换；lif1 集成了随时间变化的加权输入，如果满足阈值条件，则发放脉冲；fc2 对 lif1 的输出脉冲应用线性变换；lif2 是另一层脉冲神经元，集成了随时间变化的加权脉冲。
2024-09-19 21:34:13
1289
原创 (二）LIF神经元
Leaky Integrate-and-Fire（LIF） 神经元模型处于生物物理模型和人工神经元两者之间的中间位置。它接收加权输入的总和, 与人工神经元非常相似。但它并不直接将输入传递给激活函数, 而是在一段时间内通过泄漏对输入进行累积, 这与 RC 电路非常相似。如果累积值超过阈值, 那么 LIF 神经元就会发出电压脉冲。LIF 神经元会提取出输出脉冲的形状和轮廓；它只是将其视为一个离散事件。因此, 信息并不是存储在脉冲中, 而是存储在脉冲的时长（或频率）中。
2024-09-18 10:38:21
1055
原创 Applications of UDTL to Intelligent Fault Diagnosis: A Survey and Comparative Study
智能故障诊断(IFD)的最新进展很大程度上依赖于深度表征学习和大量标记数据。然而，机器经常在各种工作条件下运行，或者目标任务与用于训练的收集数据具有不同的分布(域移问题)。此外，新采集的目标域测试数据通常是未标记的，导致基于无监督深度迁移学习(UDTL)的IFD问题。虽然它已经取得了巨大的发展，但一个标准的、开源代码的框架和基于UDTL的IFD的比较研究还没有建立起来。在本文中，我们构建了一个新的分类法，并根据不同的任务对基于UDTL的IFD进行了全面的回顾。
2024-09-07 22:01:54
873
原创 DL algorithms for rotating machinery intelligent diagnosis: An open source benchmark study
在智能诊断领域，许多研究者已经应用了基于深度学习的技术，如多层感知机（MLP）、自动编码（AE）、卷积神经网络（CNN）、DBN和递归神经网络（RNN）来提高性能。然而，不同的研究者往往建议使用不同的输入（如时域输入、频域输入、时频域输入等），并设置不同的超参数（例如学习速率、批量大小、网络架构等）。不幸的是，少数作者将他们的代码用于比较，导致不公平的比较和无效的提升。为了解决这个问题，为评估和比较不同的基于DL的智能诊断算法提供基准研究和开源代码。
2024-09-02 16:53:30
1276
原创 Similarity-Preserving Knowledge Distillation
知识蒸馏是一种广泛适用的技术，用于在经过训练的教师网络的指导下训练学生网络。蒸馏损失决定了教师的知识如何被捕获并转移到学生上。在本文中，我们提出了一种新形式的知识蒸馏损失，其灵感来自于观察到语义相似的输入往往会在经过训练的网络中引发相似的激活模式。保持相似性知识蒸馏指导学生网络的训练，使得在教师网络中产生相似（不相似）激活的输入对在学生网络中产生相似（不相似）激活。与以前的蒸馏方法相比，学生不需要模仿教师的表示空间，而是在自己的表示空间中保留成对的相似性。在三个公共数据集上的实验证明了我们方法的潜力。
2024-08-26 15:52:38
1293
原创 Distilling Knowledge via Knowledge Review
本文提出了跨阶段连接路径(cross-stage connection paths)的概念，这是在知识蒸馏中的首次尝试。实验表明，使用教师网络的低级特征来指导学生网络的深层特征可以显著提高整体性能。基于上述发现，作者提出了一种新颖的框架，称为“知识回顾”，使用教师网络的多个层级来指导学生网络的单级学习。为了进一步提高知识回顾机制，提出了基于注意力的融合（ABF）模块和分层上下文损失（HCL）函数。
2024-08-21 10:23:35
923
原创 Decoupled Knowledge Distillation
作者提出了一种新的知识蒸馏方法，称为解耦知识蒸馏（DKD）。这种方法将传统的KD损失重新定义为**目标类知识蒸馏（TCKD）和非目标类知识蒸馏（NCKD）**两部分，并使用超参数α和β来独立地控制这两部分的重要性。
2024-08-19 21:09:10
1061
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人