每个神经元是 一个可微分的逻辑单元。
把一堆逻辑单元按照一定结构放在一起,组合成神经网络,然后用 可微的最优化方法——梯度下降法 进行优化。
神经网络就是一个程序,大量的逻辑门按照一定结构组合的复杂程序。梯度下降用来自动化编程。复用逻辑单元,就是 增加深度、CNN、RNN等方法。
学出的是逻辑单元组合成的程序,复用里面的逻辑做知识迁移,即复用一个模块 到 另一个任务里面。
强大的网络,RNN如果不共享权值,而是根据不同时间更换不同权值,权值是他的逻辑,他就是一台计算机,而且 根据不同时间更换不同权值,那不就是一个很深的神经网络吗?
共享权值的RNN,其实就是一个带有循环结构的机器,他内部共用同一个套逻辑,和带循环结构的程序类似。
综上所述,神经网络是一个可微逻辑机。