【行人重识别学习day1--神经网络】

1.单层感知机（神经元）

可以看到 sigmoid的函数就是本身 x（1-本身），即导数可以用自身表示。同理tanh也可以

2.常用激活函数

2.1 Relu激活函数

导数在负半轴区域为0，正半轴区域为1。导数不需要用数学求取。负半轴没有被激活，可以防止网络过拟合

3.神经元运算举例

4.多层前馈神经网络

本质就是把神经元堆叠

从山顶往最低处走，方向在数学里称之为梯度，按照梯度的反方向走就是下山。（下山过程就是网络反向传播的过程）

5.反向传播

前向传播：有了输入以后，网络会输出一个y，会输出一个预测。

反向传播：有了预测以后要最小化误差，就是反向传播的过程。

1.局部最优：极大的取决于初始化、起点

2.梯度弥散：假如每层梯度小于1，乘下去很小，梯度就没有了，网络就更新不动了。

3.参数量指数级增加

6.过拟合与欠拟合

dropout：每次更新网络的时候，比如每次设定更新一半的网络，另一半是死亡的

正则化：约束模型的复杂度