python机器学习--线性回归基本原理

**

回归的概念；

回归用于确定输入变量河输出变量之间的关系，回归模型是表示是表示输入变量到输出变量之间关系的映射函数。回归分析通常分为模型学习与预测两个过程。前者主要根据给定训练数据集构建回归模型，后者则根据新的输入数据预测相应的输出。

1：最小二乘法

求最终的a和b;

当多元回归，参数较多，如何推导？

2：梯度下降法：

梯度下降算法是一种通过不断迭代的方式求取代价函数最小/最大值的经典算法。其基本思想类似于爬山人快速下山的过程：以爬山人当前所处位置为基准寻找下山最快的方向（即位置最陡峭的地方），然后朝此方向下山，而到新的位置时，继续根据自己所处的新位置寻找下山最快的方向，如此反复直至到达山底。
梯度下降法又称最速下降法。函数J(a)在某点ak的梯度
是一个向量，其方向是J(a)增长最快的方向。显然，负梯度方向是J(a)减少最快的方向。
在梯度下降法中，求某函数极大值时，沿着梯度方向走，可以最快达到极大点；反之，沿着负梯度方向走，则最快地达到极小点。

求函数J(a)极小值的问题，可以选择任意初始点a0,从a0出发沿着负梯度方向走，可使得J(a)下降最快。

谢谢您的查看，欢迎留言区留言；如有什么错误的地方，欢迎指正。