神经网络基本算法笔记

1.分类任务的概念

 下面w1一直到w3072的每一行有不同的权重参数，都乘以竖列来计算出一个是猫还是狗还是其他什么动物的权重值，

如下图： 

2.利用损失函数求损失

 公式解释：求和max(0，错误类别分-正确类别分+1)

加入正则化惩罚项：

3.非线性变换 sigmoid:

 优点是可以将分值转化为概率，就是得到分类的一个概率

数据绝对值越大，越容易造成梯度消失

 第一步预测值，但是差异拉不开，所以要差异放大一点，但是不能用线性的函数，因为同乘一个线性的，数值比例不会变化，所以要乘一个非线性的，这里是用的e*x。

但是得分只是得分，要转化为概率，就需要归一化

我们所需的是一个东西正确的概率，而不是一个东西是错的概率，就比如老师念成绩念的是张三考了97，而不是张三差3分满分，那么既然准确值不是百分百，就会有损失，这个损失使用log函数来计算，因为其真数为1时，损失正好是0。

4.前向传播：（用于计算损失值）

 5.反向传播：

从后往前逐层计算 

6.网络结构：

通俗一点就是将我们看得懂的转化为计算机看得懂的（但我们看不懂，所以说深度学习无法解释）