26. 深度学习进阶 - 深度学习的优化方法

Hi, 你好。我是茶桁。

上一节课中我们预告了，本节课是一个难点，同时也是一个重点，大家要理解清楚。

我们在做机器学习的时候，会用不同的优化方法。

SGD

上图中左边就是Batch Gradient Descent，中间是Mini-Batch Gradient Descent, 最右边则是Stochastic Gradient Descent。

我们还是直接上代码写一下来看。首先我们先定义两个随机值，一个x，一个ytrue：

import numpy as np
x = np.random