随机梯度下降法Stochastic Gradient Descent (SGD)
1.梯度下降法Gradient Descent (GD)
1.>方法
优化一个函数 f(x) ,即找到它的最小值
https://pic1.zhimg.com/80/v2-b78698b31a42ab3d9eca6278ce4512f5_hd.jpg
2.>缺陷
A.数据集太大时候收敛速度太慢
B.陷入鞍点,即局部最优解时,该算法失效
https://pic2.zhimg.com/80/v2-333425b38a133055d7321dc826300fb4_hd.jpg
2.SGD
1.>优点
计算速度快
逃离鞍点(局部最优解)
3.人们发现大量的机器学习问题,几乎所有的局部最优是几乎一样好的
1.梯度下降法Gradient Descent (GD)
1.>方法
优化一个函数 f(x) ,即找到它的最小值
https://pic1.zhimg.com/80/v2-b78698b31a42ab3d9eca6278ce4512f5_hd.jpg
2.>缺陷
A.数据集太大时候收敛速度太慢
B.陷入鞍点,即局部最优解时,该算法失效
https://pic2.zhimg.com/80/v2-333425b38a133055d7321dc826300fb4_hd.jpg
2.SGD
1.>优点
计算速度快
逃离鞍点(局部最优解)
3.人们发现大量的机器学习问题,几乎所有的局部最优是几乎一样好的