Network自身能力利用率问题

随笔
　　大家在设计network时，更关注的是准确率什么的，但是一个好的network，不仅在准确率上是高的，而且自身结构上也是精简高效的。
　　关于如何评价设计的网络结构是否发挥了最大的能效呢？下面介绍几个指标。

information density

　　Information density = $\frac{accuracy}{parameters}$
　　

learning power

　　Learning power = $\frac{number - of - parameters}{degree - of - freedom}$
　　先看下参数的数量规模对比：
　　

　　 再看下自由度的定义：
　　在统计学中，自由度（英语：degree of freedom, df）是指当以样本的统计量来估计总体的参数时，样本中独立或能自由变化的数据的个数，称为该统计量的自由度。
　　Degrees of freedom of an estimate is the number of independent pieces of information that went into calculating the estimate.

　　写到这里，忍不住补充个关于安全的问题。

security

　　adversarial sample从出生开始就备受关注，后续会介绍下。

思考

　　如果有医学的研究者，专门对某一识别领域的人脑做个研究，计算下上述的一些指标，看看人脑是怎么防止对抗样的。这些结果对当前的机器学习是有巨大的启发作用的。
　　总感觉：
　　　 1，network还有对自身系统利用率的提升空间；
　　 　2，人对世界的认知系统，与现在的神经网络识别系统还有巨大差距，在对抗样本上是已知的突出缺陷。