用numpy库手写算子七:Dense_backward

用numpy库手写算子七:Dense_backward

前言

我们经常可以调用pytorch,tensorflow库等来实现我们的神经网络，但是有的时候需要开发自己的框架，这个时候就得了解每一个算子的计算规则，了解这些计算规则也有助于我们了解他们的计算特性，然后就可以在底层优化上面有一定的针对性。

Dense_backward

def dense_backward(dout, x, w, b):
    db = np.sum(dout, axis=0)
    dx = dout.dot(w.T)
    dw = x.T.dot(dout)
    return dx, dw, db