梯度下降分为批梯度下降和随机梯度下降, 前者 是利用遍历的方法,逐渐接近梯度最小值处,而后者是以不太精确的数值 逐步收敛到局部最小值附近。
对于批梯度下降算法 ,相当于在某一具有等高线的地方,以最佳的方向不断向局部最小值处靠近,下降的速度也会越来越小。
对于随机梯度下降算法,适用于大规模数据集,比较简洁,但是不能精确收敛到全局最小值,在某一具有等高线的地方,会徘徊前进,在全局最小值附近不断徘徊。
梯度下降分为批梯度下降和随机梯度下降, 前者 是利用遍历的方法,逐渐接近梯度最小值处,而后者是以不太精确的数值 逐步收敛到局部最小值附近。
对于批梯度下降算法 ,相当于在某一具有等高线的地方,以最佳的方向不断向局部最小值处靠近,下降的速度也会越来越小。
对于随机梯度下降算法,适用于大规模数据集,比较简洁,但是不能精确收敛到全局最小值,在某一具有等高线的地方,会徘徊前进,在全局最小值附近不断徘徊。