前向传播和反向传播（推导示例）

参考这个：
https://blog.csdn.net/qq_16137569/article/details/81449209
前向传播(Forward Propagation)
提一下前向传播过程，即网络如何根据输入得到输出的
目的：由输入得到输出值，并算出loss。
Loss指的是模型求解的值和数据label的差距。

前传：
可理解为一个公司的盈利取决于每个分部门的个人的付出。
从底层到高层慢慢积累。

反向传播(Backward Propagation)
目的：从loss出发，优化参数W和b。

反向传播算法的核心是代价函数CC对网络中参数（各层的权重ww和偏置bb）的偏导表达式∂C∂w∂C∂w和∂C∂b∂C∂b。这些表达式描述了代价函数值CC随权重ww或偏置bb变化而变化的程度。

反传：
直接得到loss与某人的关系很耗力。
将总的loss一级级回溯到责任人上。类似于某某公司项目亏损了，追溯责任找到源头的话，需要
公司 总部门 分部门 小组 个人
这样做。效率高。
而不应该还是按照“前传”再一级级从低级到高级汇报