Neural Networks and Deep Learning第三周

Overview of Neural Network

回顾第一周的neural network，第一个neural network是z，第二个是theta，上一个传入下一个。

拿单层神经网络来说，样本的值x1,x2...xn是input layer，是输入层；hidden layer是function layer，负责把input layer的值进行处理，然后传入output layer。传出来的值就是y-hat，相当于函数处理的值。

下面来推倒神经网络的计算过程：

前面说过两层神经网络可以看成逻辑回归再重复计算一次。

这是逻辑回归正向传播应该运行的计算，先计算z，后计算a；对于一个双层神经网络来说，一个node对应一次运算，那么从输入层到隐藏层有一次逻辑回归运算；从隐藏层到输出层还有一次。

对于输入层之后的隐藏层，我们用上标加方括号表示，[1]代表第一个隐藏层；下表代表这个节点的顺序；

那么，对于这个神经网络来说：

        

这里面，四个node代表四个逻辑回归的计算（sigmoid），因为layer是从0开始的，所以input layer是a[0]；X = [ x1,x2,x3].T；

hidden layer是a[1]；y-hat layer 是 a[2]；那