REVIEW
在机器学习的第三步,我们的目的是通过解一个最优化问题来找到最好的Function。在第二步中,我们定义了一个LOSS Function,我们把一个Function带到这个LOSS Function中,或者我们把操控一个Function的参数(parameters)带到LOSS Function中,来使得LOSS Function越小越好。怎么做?
如下所示的步骤,我们对每个参数,对LOSS Function求偏微分,上标表示这是第几组参数,下标表示是该组参数里的第几个。参数更新:上一组参数-learning_rate上组参数对L的偏微分*:
上述步骤可视化如下,横纵坐标为每组参数里包含的两个参数,对于当前的参数点,求其偏微分,然后乘负号(即相反方向),再乘学习速率,用当前参数点减去这个值,即为新的参数点。
Gradient Descent
- TIP1:小心地调整Learning_rate。
对于一维或二维的参数,我们可以把Le