文献阅读（55）

• 题目：A Low-Power Deep Neural Network Online Learning Processor for Real-Time Object Tracking Application
• 时间：2019
• 期刊：TCAS-1(IEEE Transcations on Circuits and Systems-1)
• 研究机构：KAIST

1 缩写 & 引用

• BFA: binary feedback alignment
• RLC: run-length compression
• EMA: external memory access
• DFU: data feeding unit
• INF: inference
• EP: error propagation
• GG: gradient generation
• WU: weight update

2 abstract & introduction

本篇论文的主要贡献：

1. 统一的DNN训练架构，可以实现高吞吐
2. 提出了新的误差传播算法：binary feedback alignment
3. 减少片外存储访问次数的优化：游程编码+动态位宽
4. 喂数据单元：data feeding unit
5. dropout 控制器，以减少冗余计算

3 算法

目标追踪算法是基于MDNet网络，之前的线上学习是对于conv4、fc6、fc7，他这里加入了一层全连接层fc5，然后对fc5、fc6、fc7进行线上学习

4 DNN训练处理器

4.1 游程编码压缩

之前的工作有人用过游程编码来压缩数据量的，他那里是16比特非零元素+3比特零的长度，节省了大约一半的面积
这里的话改进一点，用13比特非零元素+3比特零的个数，读数取数的时候需要编码解码