深度学习NLP笔记（五）：反向传播

关于反向传播，这篇博客写的相当详细：http://www.cnblogs.com/charlotte77/p/5629865.html 但还是要自己写一篇才能明白自己是否真的懂了。

一、链式求导与计算图

设有一实数变量$x$，$f$与$g$是两个函数，假设$y=g(x)$同时$z=f(g(x))=f(y)$，那么链式求导就是：$$\frac{dz}{dx}=\frac{dz}{dy}\frac{dy}{dx}$$
　　将这个概念扩展到高维，设$x\in {\mathbb{R}}^m,y\in {\mathbb{R}}^n$，g是从${\mathbb{R}}^m$到${\mathbb{R}}^n$的映射，$f$是从${\mathbb{R}}^n$到 R \mathbb{R}