Theory of the Synapse Maintenance

为了使DN（development network）有一个pre-selected feature to detect ,引入了这个概念。

比如你有一些待检测的人脸图像as shown below:

给你的任务是识别每张图里面的人是谁，但是我们看到这些图片中除了包含人脸外还有很多的背景信息，其中这些背景信息在用DN做人脸识别的时候如果抑制掉了，效果会不会提升，因为我要做的只是识别谁是谁 ？  这是作者的motivation

作者希望神经元能够自己切断对它自己激活没有影响或者影响较小的连接，比如上图的background信息。

然后作者就提出了一个仿生学的算法：根据输入和神经元存储的weight的匹配程度来决定哪些pixel应该被修剪，然后为了"讲好故事“ 写了很多仿生学的material来support他的idea.（between the pre-synaptic activitiesand the synaptic conductance (weight).），

具体算法：

假设是神经元的输入，是神经元存储的权值（你可以理解为网络学到的知识），

然后用，δi 表示的是激活神经元中，输入神经元的信息和原来神经元存储的信息之间的standard deviation（标准差），用来衡量V和P的match程度。注意：条件很重要，是在激活的神经元中

 

很显然，一开始没有执行更新算法（hebbian learning）的时候，神经元的权重是随机初始化的，也就是这个δ应该一开始为一个constant，等权重较好的学习到了输入的“知识”的时候（较好的拟合输入数据的分布，也就是比较稳定的时候），δ才开始起作用，当神经元的年龄（被激活的次数达到一定值的时候），δ应该是一个增长型的方差，用公式表述如下式：

 

 

 这里其中w1，w2可以直接参考hebbian learning，分别称为学习率，和retention rate（保留率，为了和上一时刻建立联系）u（n）称为遗忘因子，是神经元年龄（激活次数）的函数，比如，的时候，也就是神经元没有被激活，理解位新生的神经元，此时学习能力是很强的，也就是遗忘因子为0，随着“细胞的老化”（激活次数的增加，的增大），遗忘函数呈现线性增长，斜率为常数c，也就是激活次数位与这个区间的时候。当激活次数很大的时候， 趋近于一个常数c，后面一项加的近似为0（分母很大，分子相对较小），可以忽略，这是作者根据仿生学建立的细胞遗忘模型，最后用实验结果证明了该模型的有效性，老套路。

 

假如δ的值比较大，我们将削弱当前突触i的连接，反之，增强当前突触i的连接。（因为如果输入信息和神经元学到的知识比较match时，没有必要进行修剪，当前景不变，背景变化剧烈的时候，δ较大，应该进行修剪，达到去除背景的效果）

 

相对方差定义：

δ平的意思是既有x->y的连接，也要z->y的连接，也就是delta有多个，然后去平均。 

平滑突触因子定义：

 ， ，定义这个参数的动机是： 根据突触匹配的效果，来决定削弱哪些连接，如果，也就是所有的突触匹配的都比较好，那么就不用削弱连接，如果突触匹配的程度层次不齐，对于的突触，连接要加强，位于

区间内的连接要削弱，而的连接要切断，也就是乘以了修剪因子

 = 0 ，结果为零。

 

突触修剪：

  很好理解，就是公式描述的意思，乘以修剪因子来处理输入和权重。

举个例子：这是公式里面的pi

这是修剪因子：

 

两者相乘就得到了修剪后的输入，权值同理：

 

欢迎一起讨论学习，留言都会回复。