CS231n笔记2--Fully Connected Neural Network与Activation Function

Fully Connected Neural Network与Activation Function

神经网络–Fully Connect Neural Network

一个最简单的神经网络

$$h_{w,b}=f(x_1w_1+x_2w_2+x_3w_3+b)=f(XW+b)$$
向量化的python代码

def f(z):
    return ReLu（z）

h = f(X.dot(W)+b)

这里$f$是激活函数（Activation Function），我们稍后会讲，这里我们先用ReLu作为激活函数。

让网络更复杂些

这是一个三层的神经网络，第一层称为输入层，最后一层称为输出层，其他层（这里只剩第二层）则为隐藏层，别看好像突然复杂了很多，但是事实并非如此
定义$W_{i,j}^l$为第$l$层的第i个元素的值到第$l+1$层第j个元素的值的权重，因此