深度学习框架可使用组件化的思考&BP反向传播的思考

BP算法原理：

http://ufldl.stanford.edu/wiki/index.php/%E5%8F%8D%E5%90%91%E4%BC%A0%E5%AF%BC%E7%AE%97%E6%B3%95

说明：不管CNN,DNN,RNN等深度学习网络架构，最核心的还是使用梯度下降法进行优化。通过BP算法可以看出，权值的更新只跟残差和激活值有关。并且，下一层的残差，仅仅是上一层残差的加权和。也就是说，对于任何深度网络的架构，层与层的联系只有残差。这样就非常方便我们在构建深度网络的时候，能够模块化。也即每层网络就单独一层。然后上层网络只需要将接收到的残差加权一下，传给下一层即可了。

重点：因为深度网络可以这样高度模块化。所以，我们可以构建任何结构的网络，只要它能适用于我们的问题即可。并无需担心优化问题。因为，再复杂的结构也是由一些子模块构成，子模块之间的联系也只是残差。所以，现在就很容易理解任何网络结构，以前总是担忧这种网络能否优化，其实都是多虑了。比如说实现这个CNN，也只需调用各种开源库的子模块，然后将网络结构连接好。整个优化也是，每个模块接受上一层的残差，然后加权一下后，将残差传递给下一层，然后再更新参数。