神经元数学模型简化
当有多个数据时是在此基础上求w 和 b
计算w和b的过程是计算机自动学习的
如何判断w和b的结果是否很好?
求预测值与真实值之间的差的平方和作为总误差,这种误差计算方法称为均方差MSE
当有一组w和b的最小时,对应的直线就是我们寻找的最优直线
公式含义:w*,b*= 最小的时的w和b
优化方法
我们常说的优化方法是优化找出w和b的方法最简单的是暴力搜素或随机试验来找到最合适的w和b,但是面对多维数据这种方法基本不可行,这里我们使用梯度下降算法
我们要使得最小,可以使用求导的方法。当的导数为0时我们可以知道这个点是的极值点或者说是驻点,这样我们再对驻点进行验证。就可以找到的最小值。
的函数图1
图1
我们可以将xy 替换为我们要学习的w和b这样就可以更容易理解了.
我们想要求f(w,b)的最小值,如上图所示,我们可以沿着梯度向量()的反方向进行寻找即(-)这样我们就能找到最小值了。
我们可以按照下面的公式进行更新w和b,为什么用这个公式我也在看(哭泣)
就是学习率
通过这个公式优化参数的方法称为梯度下降算法。通过循环计算梯度即来寻找最小值。