最新论文阅读（8）--DiracNets: Training Very Deep Neural Networks Without Skip-Connections

DiracNets: Training Very Deep Neural Networks Without Skip-Connections

- 2017年6月   
- 提出NCReLU和Dirac参数化，它适用于广泛的网络架构
- ParisTech(巴黎高科，一个小学校)

　　提出新的权重参数化（weight parameterization）方法，即Dirac参数化，它适用于广泛的网络架构。
提出NCReLU，类似CReLU。
　　论文中，实验了没有使用跳层连接的Diracnet（VGG-like），发现它在34层的时候就好于resnet101。
　　
　　Dirac参数化：

　　NCReLU：