文献阅读（100）随机计算神经网络

• 题目：Neural Synaptic Plasticity-Inspired Computing: A
  High Computing Efficient Deep Convolutional Neural Network Accelerator
• 时间：2020
• 期刊：TCAS1
• 研究机构：成电

1 缩写 & 引用

• NSPC: neural synaptic plasticity-inspired computing
• TCS: two’s complement system补码
• SS-M: stochastic selection method
• US-M: uniform selection method
• ESB: equivalent stochastic bunch

2 motivation & introduction

随机计算的问题：计算variance多 & 高计算延时
Neuromorphic computing systems(SNN)的问题：缺乏spiked-based数据和有效的训练算法

本篇论文的主要贡献：

1. 建立了神经突触强度与运算电路之间的关系，将三个电路单元映射到三个神经突触可塑性行为
2. 联合优化以获得更高的精度，推导并分析了计算方差
3. 卷积层的低延迟实现

3 实现方法

3.1 突触可塑性

如上图所示，突触前神经元、突触间隙、突触后神经元与线扩展单元、线选择单元和后向转换单元相对应，保证训练过程中权重更可以变化。

3.2 二进制转概率域

假设x是m比特的定点数，表示为[$b_m$, $b_m$…$b_1$]，将x转化成$2^m-1$长的序列S，其中S的每一个比特S[k]是通过下面表示的

硬件就是用wire spreading unit实现

3.3 卷积层实现

由图可知仅仅是把卷积运算展成了向量点乘，

激活函数和BN层都是用传统的方式实现

---

• 题目：Hardware Implementation of an Improved Stochastic Computing Based Deep Neural Network Using Short Sequence Length
• 时间：2019
• 期刊：TCAS2
• 研究机构：上海交大

1 introduction

• RNG: random number generator

本篇论文的主要贡献：
神经网络随机计算中，长序列会造成高延时，为了缩小序列长度，同时又保证精度，给出了3中优化方法：

1. 基于重匹配的非相关性随机计算乘法器
2. accumulator-based ReLU单元
3. 根据输入图像动态调节序列长度的自适应方法

最终的实现网络为Mnist和Cifar-10，并在SMIC40下完成流片。

---

• 题目：Stochastic Computing for Low-Power and High-Speed Deep Learning on FPGA
• 时间：2019
• 会议：ISCAS
• 研究机构：澳大利亚詹姆斯·库克大学

1 abstract & introduction

主要强调在网络训练的过程中引入随机计算，更有针对性的更新权重

We are the first to investigate SC techniques for adoption in the parameter update stage during learning within CNN architectures.