反向传播和大脑

这篇论文探讨了大脑中反向传播算法的运作机制。作者提出了一种假设，认为大脑中的神经网络学习方式可能并非传统的反向传播，而是通过一种名为“希伯学习”的机制。

希伯学习是一种不需要外部反馈的学习方式，神经元之间的连接权重会根据自身输出进行调整，以增强或减弱自身输出。这种自我强化或自我抑制的过程不需要外界反馈，可以看作是一种“自发”的学习模式。

然而，为了学习外部世界的信息，神经网络需要外部反馈。论文中提到了一个例子：当我们用锤子敲钉子时，如果钉子没有敲正，我们会得到一个反馈信号，告诉我们敲击的力度或方向不对。这种反馈通常以误差信号的形式出现，告诉我们离目标结果有多远。

论文指出，希伯学习是一种没有反馈的学习模式，而扰动学习则包含反馈信号。扰动学习通过一个单一的反馈信号，调整所有神经元之间的权重，以减少误差。

论文还提到了神经网络的结构，包括输入层、隐藏层和输出层，以及神经元之间的连接权重和非线性函数。作者认为，大脑中可能存在多种不同的学习机制，而希伯学习和扰动学习只是其中两种。

总的来说，这篇论文提出了一个关于大脑中神经网络学习机制的新颖观点，为理解大脑学习机制提供了新的思路。

Geoffrey Hinton 和他的合著者描述了一种生物学上合理的反向传播变体，并报告了证据表明这种算法可能是大脑学习的原因。https://www.nature.com/articles/s41583-020-0277-3摘要：在学习过程中，大脑会修改突触以改善行为。在皮质中，突触嵌入多层网络中，这使得难以确定单个突触修改对系统行为的影响。反向传播算法解决了深度人工神经网络中的这个问题，但历史上它被认为存在生物学上的问题。尽管如此，神经科学的最新发展和人工神经网络的成功重新激发了人们对反向传播是否为理解皮质学习提供了见解的兴趣。反向传播算法通过使用反馈连接来传递误差信号来计算突触更新，从而快速学习。尽管反馈连接在皮质中无处不在，但很难理解它们如何传递严格的反向传播公式所需的误差信号。在这里，我们基于过去和最近的发展，认为反馈连接可以诱导神经活动，其差异可用于局部逼近这些信号，从而在脑部深度网络中驱动有效学习。