Fully Connected Neural Network与Activation Function
神经网络–Fully Connect Neural Network
一个最简单的神经网络
hw,b=f(x1w1+x2w2+x3w3+b)=f(XW+b)
向量化的python代码
def f(z):
return ReLu(z)
h = f(X.dot(W)+b)
这里 f 是激活函数(Activation Function),我们稍后会讲,这里我们先用ReLu作为激活函数。
让网络更复杂些
这是一个三层的神经网络,第一层称为输入层,最后一层称为输出层,其他层(这里只剩第二层)则为隐藏层,别看好像突然复杂了很多,但是事实并非如此
定义