深度学习计算图&计算图求导过程&向量化

深度学习中,计算是核心部分,所以一直在致力于提供算法网络的计算能力,比较基础的两种优化形式有:

1.将计算过程做为一个计算图来进行运算,每个计算过程用节点来模拟,这样的好处可以分割运算,甚至可以多线程,多gpu开session来进行运算
2.向量化:以tensorflow为例,进行向量化的运算,由于python独有的广播机制,向量化运算不需要显式的for循环,可以大大提高运算速度

下面具体来看深度网络框架中的计算图 && 向量化运算

1.计算图
2.向量化

1.计算图

在深度学习中有图的概念: 创建计算节点链接成一个计算图,每个节点是一个$tensor$用于记录变量

下面是一个标量的简单例子,我们模拟前馈传递和反向传播的过程:

基础函数: $J(x,y,z)=2(xy+yz)$

那么构建其计算图:

前馈过程:

• 第一步: 初始化$x,y,z$
• 第二步:令$u=xyv=yz$
• 第三部: 令$p=u+v$
• 最后一步: $J(x,y,z)=J(u,v)=J(p)=2p$ 这样一个计算过程就一步步分解出来

反向微分过程:

• 从$J$开始反向传播:$dp=dJ/dp=2$

• $du=dJ/dpdp/du=2\ast 1=2$, $dv=dJ/dpdp/dv=2\ast 1=2$

• 接着求$dx,dy,dz$

  $$dx=dudu/dx=2y$$

  $$dy=dudu/dy+dvdv/dy=2x+2z$$

  $$dz=dvdv/dz=2y$$

不难发现计算图反向梯度下降的时候是逐级递归相乘的,这就是深度学习中的链式相乘法则,我们只有一个模型,在神经网络中会链式相乘的参数会逐级递增来更新每一个网络层的参数

我们接着来看logistic回归的计算图,这里使用Andrew NG文档中的一个图:

前馈的过程如图,也是一个节点简单运算,向后递归的过程:

我们来看反向传播过程:

• $$da=dl/da=d(-(ylog{y}^{pre}+(1-y)log(1-y^{pre})))=-y/a+(1-y)/1-a$$
• $$dz=dada/dz=a-y$$
• $$dw1=x_{1}dzdw2=x_{2}dzdzdb=dz$$

2.向量化

在常规的编程中:

比如对于一个多实例,多特征的网络中,至少要用到两个for循环,这会大大降低算法的效率:

如下面的公式

前馈过程 :

$$y^{p}re=\sigma (w_{!}^T{x}_1^{(i)}+w_2^T{x}_2^{(i)}+b)$$

反向传播过程(直接使用上面的公式)

$$dw1=\sum _{i=0}^m{x}_1^{(}i)dz=\sum _{i=0}^m{x}_1^{(}i)(\sigma (w_1^T{x}_1^{(i)}+w_2^T{x}_2^{(i)}+b)-y)$$

这样来看实现上述的前馈过程和反向传播,至少需要两层for循环 一层遍历实例 一层遍历实例中的特征,那么算法将会奇慢无比

但是python中支持向量化的运算所以我们直接利用相关Api进行矩阵运算或者向量运算

那么

前馈过程:

$$Y=sigma(W^{T}X+b))$$

反向传播过程:

$$dW=Xdz=X(\sigma (W^{T}X+b)-y)$$

有兴趣的可以试一下,时间的量级可以提升2个量级以上