压缩神经网格（二）：融合分支的思想

DeepRebirth: A General Approach For Accelerating deep neural Network Execution on mobile devices

研究背景

通过权重压缩后的神经网络，虽然模型的大小变小了，但是执行时间和耗能上性能还是一般。我们发现，不含tensor参数的层（non-tensor层）的执行时间很长，基于这个问题，论文中提出了两种将non-tensor层融入tensor层的方法：流合并（streaming merging），分支合并（branch merging）。

目标

1. 正确率损失小
2. 利用现有的深度学习的框架
3. 适用于神经网络的不同的结构组件（pooling，LRN， 卷积，全连接）

DEEPREBIRTH

streaming merging（垂直合并）

情况说明;
1. 一般的non-tensor层都跟在一个tensor层后面。
2. 几个连续的层就可以被看成是一个具有非线性转换功能的黑盒子（感觉后面并没有用上。）
融合方案;
1. 将pooling层的步长（