UFLDL阅读笔记1—Multi-Layer Neural Network

背景

问题

有一组数据形式为$(x^{(i)}, y^{(i)})$，其中$x$是输入的向量，神经网络可以去非线性地拟合这组数据，其形式为$h_{W,b}(x)$，其中的参数有$W,b$

单个神经元

1. 示意图
   
2. 实质
   先把输入向量$x$的各个分量进行线性组合加一个偏移成为$\sum_{i=1}^n W_{i}x_i +b$，再将这个结果通过activation function $f$，就会得到单个神经元的输出$h_{W,b}(x)$
3. • activation function
     常见的activation function有3种类型：
     
     • sigmoid $f(z) = \frac{1}{1+\exp(-z)}$
     • tanh $f(z) = \tanh(z) = \frac{e^z - e^{-z}}{e^z + e^{-z}}$
     • rectified linear $f(z) = \max(0,x)$

3个函数的图像如下：

Neural Network model

定义

单个神经元结构分层全链接。其中，最左边为input layer，最右边是output layer ，中间是hidden layer ，层内标注为“+1”的节点表示的是一个偏移量，叫做bias units 。以下是一个简单的神经网络模型

参数说明

其实任意两个节点之间的连接线上都对应了一个参数，每层都是上一层的线性组合作为输入传到下一层，因此每层配有各自的$W,b$来代表这一层的权重，其中$W$表示普通节点上的权重，b代表bias unit的权重。这个简单网络有3层，我们用上标代表层数，因此有两组这样的参数$(W,b) = (W^{(1)}, b^{(1)}, W^{(2)}, b^{(2)})$.
- 对于每两层之间的