[深度学习]深度学习学习笔记02

损失函数

神经网络通过不断修改自身的参数来尽量达到每条训练数据都正确，都更加接近正确，所以要定义损失函数，用来量化当前成绩与满分之间的差距。

均方差

def mean_squared_error(y, t):
    return 0.5 * np.sum((y-t)**2) # 就是求每一项的方差，然后累加起来再除以二

交叉熵

def cross_entropy_error(y, t):
    delta = 1e-7 # 防止除零
    return -np.sum(t * np.log(y + delta))

上面都是针对单一数据的误差计算，对于批量数据，如整个训练集的所有数据计算时，在此基础上取均值。
计算得到误差之后，应该对参数进行修改来使误差降低。

梯度

1.通过用输出的结果对每个输入的参数求偏导，能得到该参数方向上的导数，然后可以在这个切线方向的向上或向下，进行些许的调整来取得更大或者更低的输出值，然后据此修改系数。当再一次使用同样的输入时，就会得到损失函数更小的值。
2.由于计算机无法直接求导，只能通过计算 lim(x->0){ (f(x0+x)-f(x0))/x } 来得到近似的结果
3.因此，通过反向传播来计算出误差
加法原值传递，乘法需要按照输入的比例倒数来分配结果

学习率

通过控制学习率，来控制每次修改系数的大小，过小的话会使收敛速度慢，过大会跳过收敛点或者到错误的收敛点。
应该多次尝试找好合适的值

小结

步骤 1（mini-batch）
从训练数据中随机选择一部分数据。

步骤 2（计算梯度）
计算损失函数关于各个权重参数的梯度。

步骤 3（更新参数）
将权重参数沿梯度方向进行微小的更新。

步骤 4（重复）

ps:（求梯度以及反向传播等代码比较复杂，先不实现了，不在轮子上浪费时间，之后如果需要深入再做研究 ）