机器学习之Python矩阵运算

梯度下降法

梯度下降（gradient descent）主要目的是通过迭代找到目标函数的最小值，或者收敛到最小值。所以，它是一种常用的求解无约束最优化问题的方法，在最优化、统计学以及机器学习等领域有着广泛的应用。

梯度下降的相关概念

1.下山过程描述
场景描述：一个人需要从山的某处开始下山，尽快到达山底。
下山过程重要的信息：方向和距离
为了尽快的到达山底，需要选择最陡峭的方向下山。而且，在下山的过程中，下山方向也并不是一层不变的，每过一段距离，就需要重新选择方向。
下山过程

2.梯度下降的过程内容描述
梯度下降的过程跟下山过程很相似。两者结合来看，山就等同于我们需要优化的函数表达式，山的最低点就等同于我们求解的最优值，而每次下山的距离就是梯度下降中的学习率，寻找方向利用的信息就是样本数据，某处就是优化函数设置的初始值。求解最优解的过程，就是利用初始值不断迭代求解得到的。
3.梯度的概念
①认识微分
单变量的微分
例：

多变量的微分

②梯度
在数学上，梯度是多变量微分的一般化

梯度

由此，看来梯度是一个向量，向量包括大小和方向，所以梯度的方向就指出了函数在给定点的上升最快的方向，而梯度的反方向就是函数在给定点下降最快的方向。
4.梯度下降的数学解释

梯度下降算法原理

1.批量梯度下降法（Batch Gradient Descent, BGD）
批量梯度下降法在计算优化函数的梯度时利用全部样本数据，n表示总的样本数
梯度计算公式：
迭代公式：

2.小批量梯度下降法（Mini-batch Gradient Descent, MBGD）
随机梯度下降法在计算优化函数的梯度时利用随机选择的一个样本数据
梯度计算公式：

迭代公式：

3.随机梯度下降法（Stochastic Gradient Descent, SGD）
小批量梯度下降法在计算优化函数的梯度时利用随机选择的一部分样本数据，k表示选取样本的数目
梯度计算公式：

迭代公式为：

梯度下降法的一般求解步骤

梯度下降法手工求解极值

题目

计算

Excel中利用梯度下降求解近似根

设置表格的一些基本内容

设置（x，y）的初始值为（2，1）
其他表格输入相应的计算公式


多次迭代结果
当学习率取0.1的时候，迭代2000多次仍旧没有出现函数值为0的情况，所以更改学习率为0.15
结果

由此，可得到其近似值为（1，0），迭代很多次才得到想要的结果。

线性回归问题求解

最小二乘法

代码

from sklearn import linear_model        
#可以调用sklearn中的linear_model模块进行线性回归
import seaborn as sns
# 定义数据集的大小 即20个数据点
m = 20
# x的坐标以及对应的矩阵
X0 = ones((m, 1))  # 生成一个m行1列的向量，其值全是1
X1 = arange(1, m+1).reshape(m, 1)  # 生成一个m行1列的向量，也就是x1，从