损失函数
神经网络通过不断修改自身的参数来尽量达到每条训练数据都正确,都更加接近正确,所以要定义损失函数,用来量化当前成绩与满分之间的差距。
均方差
def mean_squared_error(y, t):
return 0.5 * np.sum((y-t)**2) # 就是求每一项的方差,然后累加起来再除以二
交叉熵
def cross_entropy_error(y, t):
delta = 1e-7 # 防止除零
return -np.sum(t * np.log(y + delta))
上面都是针对单一数据的误差计算,对于批量数据,如整个训练集的所有数据计算时,在此基础上取均值。
计算得到误差之后,应该对参数进行修改来使误差降低。
梯度
1.通过用输出的结果对每个输入的参数求偏导,能得到该参数方向上的导数,然后可以在这个切线方向的向上或向下,进行些许的调整来取得更大或者更低的输出值,然后据此修改系数。当再一次使用同样的输入时,就会得到损失函数更小的值。
2.由于计算机无法直接求导,只能通过计算 lim(x->0){ (f(x0+x)-f(x0))/x } 来得到近似的结果
3.因此,通过反向传播来计算出误差
加法原值传递,乘法需要按照输入的比例倒数来分配结果
学习率
通过控制学习率,来控制每次修改系数的大小,过小的话会使收敛速度慢,过大会跳过收敛点或者到错误的收敛点。
应该多次尝试找好合适的值
小结
步骤 1(mini-batch)
从训练数据中随机选择一部分数据。
步骤 2(计算梯度)
计算损失函数关于各个权重参数的梯度。
步骤 3(更新参数)
将权重参数沿梯度方向进行微小的更新。
步骤 4(重复)
ps:(求梯度以及反向传播等代码比较复杂,先不实现了,不在轮子上浪费时间,之后如果需要深入再做研究 )