ApproxANN——神经元关键性分析

ApproxANN: An Approximate Computing Framework for Artificial Neural Network

主要是解读自己阅读的这篇论文里的3.1节部分——神经元关键性分析

1. 定义关键性
   神经元上小的扰动会导致大的输出质量退化，这就是关键性神经元。退化越大，该神经元越关键。
2. 关键性分析的旧方法
   给每个神经元注入随机误差，记录对最终输出的影响
3. 缺点
   不实用，单个神经元影响太小，而无法被大规模网络很好监测
4. 本文的新方法
   提出有效的基于理论的神经元关键性分析方法
5. 具体
   最终成本函数 $$E=\frac{1}{2}\sum_{k=1}^c (t_k-z_k)^2 = \frac{1}{2}||t-z||^2$$
   第i个神经元关键性，记作$nc_i$，包括输出层的$nco_i$和隐藏层的$nch_i$。
   $$nc_i=\frac{\partial E}{\partial net_i}$$ 可由其倒数表示
   $$nco_k=\frac{\partial E}{\partial neto_k}=\frac{\partial {\frac{1}{2}\sum_{k=1}^c (t_k-z_k)^2}}{\partial z_k}.\frac{\partial z_k}{\partial neto_k} =-(t_k-z_k).f'(neto_k)$$
   同理，
   $$nch_j=\frac{\partial E}{\partial y_j}.\frac{\partial y_j}{\partial neth_j}=f'(neth_j). \sum_{t=1}^c nco_k w_kj$$