[deeplearning-002] 单节点神经网络推导

这个例子是最基础的例子，深度学习是它的各种形式的扩展。几个关键点：神经网络结构，激活函数，向量化，随机梯度下降算法，是深度学习的基石。

1.训练集
设训练集合是$\{\mathbf x^{(i)}, y^{(i)}\} i=1...n$，其中$\mathbf x\in R^{1\times d}$。$\mathbf x$是个向量，数据集有$n$个样本。

2.神经网络结构
一个神经元，有d+1个输入，前d个是向量$x$的输入，最后一个是b的输入。神经元的激活函数是sigmoid函数，也就是:

$$f(x)=\frac{1}{1+exp(-x)}=\frac{1}{1+e^{-x}}$$
求导的话，就是 $f^{'}(x)=f(x)(1-f(x))$，可以推导出来的。

3.神经网络的输出
对一个样本而言，计算神经元的输出。$\mathbf x$和b作为输入，传递到神经元的应激函数之前的值是$\mathbf x \mathbf W+b$，其中 W∈R