梯度下降（Gradient Descent）小结

在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。这里就对梯度下降法做一个完整的总结。

1. 梯度

2. 梯度下降与梯度上升

3. 梯度下降法算法详解

3.1 梯度下降的直观解释

3.2 梯度下降的相关概念

3.3 梯度下降的详细算法

        梯度下降法的算法可以有代数法和矩阵法（也称向量法）两种表示，如果对矩阵分析不熟悉，则代数法更加容易理解。不过矩阵法更加的简洁，且由于使用了矩阵，实现逻辑更加的一目了然。这里先介绍代数法，后介绍矩阵法。

3.3.1 梯度下降法的代数方式描述

3.3.2 梯度下降法的矩阵方式描述

3.4 梯度下降的算法调优

4. 梯度下降法大家族（BGD，SGD，MBGD）

4.1 批量梯度下降法（Batch Gradient Descent）

4.2 随机梯度下降法（Stochastic Gradient Descent）

4.3 小批量梯度下降法（Mini-batch Gradient Descent）

5. 梯度下降法和其他无约束优化算法的比较