qq_31978165的博客

原创 Random feedback weights support learning in deep neural networks

这里我们阐述一个新的深度学习算法，其和反向传播一样快、准确但更简单，避免了传播所有突出权值信息的转置，大脑能更容易利用这种机制。该算法基于三个洞察： 反馈权重不需要正好是WTWTW^T，事实上任意矩阵BBB就足够了，只要平均起来 eTwBe>0(1)eTwBe>0(1)e^TwBe>0\qquad\qquad\text{(1)} 其中eee是网络输出的误差。几何上，这表示矩阵B...