用numpy库手写算子六:Dense

用numpy库手写算子六:Dense

前言

我们经常可以调用pytorch,tensorflow库等来实现我们的神经网络，但是有的时候需要开发自己的框架，这个时候就得了解每一个算子的计算规则，了解这些计算规则也有助于我们了解他们的计算特性，然后就可以在底层优化上面有一定的针对性。

Dense

dense作为全连接层，主要是为了最后分类提取信息，因此可以说是最重要的一层了。

def dense_forward_naive(x, w, b):
	out = x.dot(w) + b
	return out