人工神经网络

现在最火的方向，机器学习中的神经网络的扩展和加强。应用在图像分类，计算机视觉的核心任务中，有着重要的作用。

神经网络结构如下：

可以看到输入x和权值w相乘后加和在一起再加b，进行sigmoid非线性输出。

其中激活函数是：

因为sigmoid函数容易导致梯度消失反向传播的时候，w非常小，改变也小，不会收敛。

由图可知，损失值为0.19，normalize是归一化，最后0.13,0.87加为1。

1、损失 函数

意义是为了说明哪个分类的效果好

eg（以下图片都是截取一位大神的ppt）：

其中是错的值，是正确的值，在cat中，3.2为正确值，5.1和-1.7是错误值。所以根据公式，就是错误值减去正确值，加上1是最小容忍度。得到最后结果是0意思就是分类比较好。

2、正则化是为了优化w，产生了稀疏性。

红色框里面就是正则化，L2正则化是：

eg：

虽然 有：

但是由L2得到，R1（w）=1，R2（w）=1/4，可以得到系数的方差大，离散度越高。

所以损失函数的修改为：

所以如下最优化：

3、反向传播

找出哪个输入对最后out值贡献大小：

q对f的贡献是f对q求偏导为z=-4，q上升，f下降。

z对f的贡献是f对z求偏导为q=-4，z上升，f上升。

x对f贡献是要进行链式相乘每个环节，为x对q偏导*q对f求偏导=1*-4=-4

可以整体求导如下 ：

反向传播的每个门的作用：