为啥神经网络里的BP算法花了那么久才被发明?

Roseblatt在五十年代就提出了感知机, 又过了将近30年, 多层神经网络的BP算法才得以普及。

而事实上这不过是微积分中链式法则的简单应用而已, 为什么要花这么久呢？

bengio在quora上这样回答道：

很多看似显而易见的想法只有在事后才变得显而易见。

在控制论中, 很早就开始应用链式反则来解决多层非线性系统。

但在80年代早期, 神经网络的输出是离散的, 这样就无法用基于梯度的方法来优化了。

这时Rumelhart和Hinton想到, 只要把输出做成平滑的(sigmoid), 就可以用链式法则来训练多层神经网络了。

所以这不仅仅是链式法则的问题, 而是要跳出离散输出的框框, 这种理念上变革并不容易。

本文作者：佚名

来源：51CTO