深度学习｜SNN-ResNet搭建

最新推荐文章于 2023-06-10 11:44:55 发布
最新推荐文章于 2023-06-10 11:44:55 发布
阅读量1.1k 收藏 10
点赞数
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42968558/article/details/108698396
版权

深度学习｜SNN-ResNet搭建

ResNet基本结构

已有的文章已经说的很详细了，这里就不再赘述，直接引用之
ResNet详解

SNN基本知识

SNN可以用如下方程综述
在这里插入图片描述
其中x是加权输入，w是权重，o是上一层的输入，u是当前节点电位，g是脉冲激活函数，f是衰减遗忘函数函数。在SNN构成的网络中训练如下图：
在这里插入图片描述
图片来自Spatio-Temporal Backpropagation for Training High-Performance Spiking Neural Networks

Wu Y , Deng L , Li G , et al. Spatio-Temporal Backpropagation for Training High-performance Spiking Neural Networks[J]. 2017.

SNN-ResBlock

第一种是维度发生变化的，两次及已更新分别发生在下图所示位置。其中的数据输入都是3D的
x
Tempoal-CNN
3D-BN
memory update
Tempoal-CNN
3D-BN
short_cut CNN
short_cut BN
+
memory update

维度不发生变化的比较简单，但是shortcut依然经过一次batchnorm，这是因为上一层的输入经过memupdate和激活，可能导致分布出现偏差
x
Tempoal-CNN
3D-BN
memory update
Tempoal-CNN
3D-BN
short_cut BN
+
memory update

ResNet具体结构
average poooling to 1*1
x
Tempoal-CNN
MaxPooling /2
ResBlock 64-128 * 2
ResBlock 128-256 * 3
ResBlock 256-512 * 3
sum
FC
softmax

训练结果

ResNet18训练Imagenet 当前进度如下：
在这里插入图片描述
训练资源消耗
在这里插入图片描述
因为只是初步训练，不打算跑完整个实验，目前正在训练ResNet34。其他具体参暂不公开。

ordinarabbit
关注
  • 0
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
有监督SNN网络——SLAYER Linux安装配置
算法小学徒
03-14 1707
SLAYER是来自NUS的成果，文章被收录到NeurIPS2018 原文链接 http://papers.nips.cc/paper/7415-slayer-spike-layer-error-reassignment-in-time.pdf 文章内容简述 由于SNN(spiking neural network)中神经元模型发放的离散脉冲信号不可微，所以传统CNN的BP策略不再适用。文章主要贡献...
resnet50resnet50
最新发布
03-22
resnet50resnet50resnet50resnet50resnet50resnet50resnet50resnet50resnet50resnet50resnet50resnet50resnet50resnet50resnet50resnet50resnet50resnet50resnet50resnet50resnet50resnet50resnet50resnet50resnet50resnet50resnet50resnet50resnet50resnet50resnet50resnet50resnet50resnet50resnet50resnet50resnet50resnet50resnet50resnet50resnet50resnet50resnet50resnet50resnet50resnet50resnet50resnet50
使用脉冲神经网络（SNN）实现DEAP脑电情绪识别（完整代码分享）
热门推荐
普通人能赶追天才的方法只有坚持
11-24 1万+
目前对SNN的研究相对来说还是比较少的，因此可以作为一个论文创新点。本文展示了如何使用SNN搭建一个ResNet网络去对DEAP数据集进行情绪四分类。
脉冲神经网络深度残差学习（ResNet）
学姐带你玩AI的博客
06-02 790
由于discrete binary activation 和complex spatial- temporal dynamics ，脉冲神经网络（SNN）在基于梯度的方法中存在优化困难。考虑到ResNet在深度学习方面的巨大成功，用残差学习训练深度SNN是很自然的。之前的Spiking ResNet模拟了ANN中的标准残差块，并简单地用脉冲神经元替换ReLU激活层，这会导致退化问题，并且很难实现残差学习。在本文中，我们提出了基于脉冲网络的ResNet来实现深度SNN中的残差学习。
人工智能(pytorch)搭建模型10-pytorch搭建脉冲神经网络（SNN）实现及应用
weixin_42878111的博客
06-10 6553
大家好，我是微学AI，今天给大家介绍一下人工智能(pytorch)搭建模型10-pytorch搭建脉冲神经网络（SNN）实现及应用，脉冲神经网络（SNN）是一种基于生物神经系统的神经网络模型，它通过模拟神经元之间的电信号传递来实现信息处理。与传统的人工神经网络（ANN）不同，SNN 中的神经元能够生成脉冲信号，并且这些信号在神经网络中以时序的方式传播。
CNN版本的ResNet
weixin_43872912的博客
07-04 169
因为最近要看一篇ResNet版本的SNN网络，所以去了解了一下ResNet。这是一种深度残差网络， def _block(self, x, n_out, n, init_stride=2, is_training=True, scope="block"): with tf.variable_scope(scope): h_out = n_out // 4 out = self._bottleneck(x, h_out, n_out, stride=init_strid
点击率预测|深度学习在CTR中的应用，FNN，SNN论文解读
AI公园
10-29 678
请点击上方“AI公园”，关注公众号【导读】LR，FM，FFM都是浅层模型，想不想试试深度学习？请看下面：摘要：预测用户的反馈，如点击率，转换率在很多的网络应用中非常的重要...
我读ResNet
工长山的专栏
09-10 4797
0. 背景论文地址：Deep Residual Learning for Image Recognition 代码地址：GitHub 这篇论文是 ILSVRC 2015 年冠军，由 MSRA 何凯明团队提出，提出了迄今为止最深的网络——152 层的神经网络构成分类器，并且提出解决随着层数增加，训练误差增大的方案。1. 问题 深度学习随着层数增加，效果变好。举例：Alexnet是10层，VGG16
SNN-CarRacing-SL：使用监督学习训练SNN模型以处理CarRacing问题
02-22
SNN-赛车-SL 使用监督学习训练SNN模型以解决CarRacing问题 我们首先使用CNN模型来训练人类在CarRacing Game中玩游戏收集的数据集。 然后，我们使用Spike-CNN模型训练数据集并比较两个模型的性能。
PyPI 官网下载 | cnn2snn-1.6.4.tar.gz
01-31
标题中的"PyPI 官网下载 | cnn2snn-1.6.4.tar.gz"表明这是一个在Python Package Index（PyPI）上发布的软件包，名为"cnn2snn"，版本为1.6.4，且以tar.gz格式打包。PyPI是Python开发者发布自己创建的Python库的地方，...
snn:构建一个尖峰神经网络
05-18
nn 构建一个尖峰神经网络 功能 该项目用于构建加标神经网络，以完成MNIST数据集上的分类任务。
hybrid-snn-conversion:通过混合Ann-SNN转换和基于尖峰的反向传播来训练尖峰网络
05-16
通过混合转换和依赖于峰值时序的反向传播来启用深度峰值神经网络 这是与在发表的论文“使用混合转换和峰值定时依赖的反向传播实现深度尖峰神经网络”相关的代码。 培训方法 培训分以下两个步骤进行： 训练ANN（'ann...
SNN-Conversion
05-29
探索二进制和尖峰神经网络之间的联系概述该代码库概述了一种训练方法，并为使用的大型数据集（即 CIFAR-100 和 ImageNet）提供了用于全精度和二进制尖峰神经网络 (B-SNN) 的训练模型。 遵循提到的建议程序和设计特征...
SNN-VB6.0.zip_ SNN_SNN_snn 算法_vb6
09-20
标题中的"SNN-VB6.0.zip"表明这是一个使用Visual Basic 6（VB6）编写的软件或程序，其中包含了SNN（Spiking Neural Network，尖峰神经网络）的算法。SNN是一种生物启发的计算模型，模拟了大脑中神经元的活动，特别是...
SNN学习
lemonade_117的博客
09-08 9556
目前的人工神经网络是第二代神经网络。它们通常是全连接的，接收连续的值，输出连续的值。尽管当代神经网络已经让我们在很多领域中实现了突破，但它们在生物学上是不精确的，其实并不能模仿生物大脑神经元的运作机制。 SNN 使用脉冲——这是一种发生在时间点上的离散事件——而非常见的连续值。每个峰值由代表生物过程的微分方程表示出来，其中最重要的是神经元的膜电位。本质上，一旦神经元达到了某一电位，脉冲就会出现，...
如何利用Bindsnet-Python模拟脉冲神经网络（SNN）？Part I. 建立一个网络
周毅航的博客
03-20 2067
微信公众号：脑机接口研习社 关注脑机接口最新进展 脑机接口研习社公众号即将开通机器学习专栏，从本篇文章开始，将介绍如何利用Bindsnet-Python包模拟脉冲神经网络（SNN）。 一、脉冲神经网络（SNN）简介 首先，我们来看什么是人工神经网络。 人工神经网络（Artificial Neural Network，即ANN ），是20世纪80年代以来人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象，建立某种简单模型，按不同的连接方式组成不同的网络。在工程与学术界也常直接简称为神..
SNN识别手写数字—MNIST数据集
wkn_cxy的博客
12-14 8955
论文引用： Unsupervised learning of digit recognition using spike-timing-dependent plasticity 一、前言 1、神经元模型——LIF模型（Leaky Intergrate and fires model）     LIF模型任务：找到膜电势随时间以及外界输入的变化情况。（具体的模型网上由很多，此处介绍简单的概念。） Leaky 泄露，表示如果神经元的输入只有一个，且不足以令膜电位超过阈值，膜电位会自动发生泄露逐渐回落
SNN(脉冲神经网络)——Brian2_STDP_MNIST学习记录
weixin_44085642的博客
12-19 1万+
这篇是学习Brian2模拟器一个手写数字识别的代码学习记录 我非常想结识相关领域的朋友，大家感兴趣可以看到最后一段。 本文参考： Peter, U, Diehl, et al. Unsupervised learning of digit recognition using spike-timing-dependent plasticity[J]. Frontiers in Computational Neuroscience, 2015, 9:99. https://brian2.readthedocs
【脉冲版ResNet】浙大&川大提出：继承ResNet优势，实现当前最佳
u011511601的专栏
05-19 1195
今天看到一篇文章，晚点细看论文。转自知乎：选自arXiv，作者：Yangfan Hu等，机器之心编译。脉冲神经网络（SNN）具有生物学上的合理性，并且其计算潜能和传统神经网络相同，主要障碍在于训练难度。为解决这个问题，浙江大学和四川大学近日提出了脉冲版的深度残差网络 Spiking ResNet。为解决模型转换的问题，研究者提出了一种新机制，对连续值的激活函数进行标准化，以匹配脉冲神经网络中的脉冲...
搭建深度强化学习SNN神经网络
06-06
深度强化学习中的SNN神经网络通常用于建模和解决决策问题。以下是使用 PyTorch 框架搭建深度强化学习 SNN 神经网络的示例代码，供您参考： ```python import torch import torch.nn as nn import torch.optim as optim import torch.nn.functional as F class SNN(nn.Module): def __init__(self, input_size, output_size): super(SNN, self).__init__() self.input_size = input_size self.output_size = output_size self.hidden_size = 32 self.fc1 = nn.Linear(input_size, self.hidden_size) self.fc2 = nn.Linear(self.hidden_size, self.output_size) def forward(self, x): x = F.relu(self.fc1(x)) x = self.fc2(x) return x class DQN: def __init__(self, input_size, output_size, gamma): self.gamma = gamma self.model = SNN(input_size, output_size) self.optimizer = optim.Adam(self.model.parameters(), lr=0.001) self.criterion = nn.MSELoss() def update(self, state, action, reward, next_state, done): state = torch.tensor(state, dtype=torch.float32) action = torch.tensor(action, dtype=torch.long) reward = torch.tensor(reward, dtype=torch.float32) next_state = torch.tensor(next_state, dtype=torch.float32) q_values = self.model(state) q_value = q_values.gather(1, action.unsqueeze(1)).squeeze(1) next_q_values = self.model(next_state) max_next_q_value = next_q_values.max(1)[0] expected_q_value = reward + self.gamma * max_next_q_value * (1 - done) loss = self.criterion(q_value, expected_q_value.detach()) self.optimizer.zero_grad() loss.backward() self.optimizer.step() def act(self, state, epsilon): if torch.rand(1) < epsilon: return torch.randint(self.model.output_size, (1,)) else: with torch.no_grad(): state = torch.tensor(state, dtype=torch.float32) q_values = self.model(state) return q_values.max(0)[1].view(1, 1) ``` 在上述代码中，我们首先定义了一个 SNN 类，它包含一个全连接层和一个输出层。我们还定义了一个 DQN 类，它包含了一个 SNN 模型、一个优化器和一个损失函数。在 DQN 类中，我们定义了两个方法：update 和 act。update 方法用于更新模型的参数，act 方法用于根据当前状态选择动作。在 update 方法中，我们首先把状态、动作、奖励和下一个状态转换成张量，然后使用 Q-learning 的公式计算目标 Q 值，最后使用均方误差损失函数计算损失，并使用 Adam 优化器更新模型的参数。在 act 方法中，我们使用贪心策略或 ε-greedy 策略选择动作。 需要注意的是，以上代码仅仅是 DQN 算法使用 SNN 神经网络的一个示例，实际应用中可能需要根据具体情况进行修改。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值