回归算法-最小二乘法及梯度下降

1.回归
首先我们可以理解什么是回归，假如我们有一系列x1,x2,x3,x4到xN并且对应y1,y2,y3,y4到yN。
在机器学习中，我们给定了一个x对应有一个y，这里有N个x对应N个y，这就是N组样本，从这N组样本中我们就可以进行一个建模，找出x和y的某种关系，从而对一个新给出的x值做y值的预测。
那么当这些y的值是一个连续的情况，比如1，2，3，4，5等等，我们称作回归。
当这些y的值是离散的，比如y是男女性别，取0或1，我们称作分类。
当然，回归这个字眼在所有人第一次接触字面时，会感觉和实际意义差距很远，而分类在解释上很容易行通，其实，我们可以这样解释回归：
任何事物的发展不是朝着极端走，双亲较矮，子代较高，但子代身高不会无限地增长，它往往会在一定范围内波动，并且会趋于一个稳定的值，就如同大部分事物在大量样本发生的情况下会趋于正态分布，这种现象我们可以称之为回归，也就是回归解释的是大量事物在一般情况下趋于最普遍的一种状态。
因此，当y值是连续的时候，我们就称作回归。

2.线性回归以及最小二乘法

y=ax+b是二维关系，推演至多维，也就是我们可以有很多特征共同决定y，于是就有如下图的关系，每一个特征都有一个θ参数，共同决定了预测的模型，我们将所有θ写在一个列向量中，并写为θ的转置乘对应的x并加和，我们最后需要知道的是θ，因为x和y是已给出的样本，其实就是对关于θ的函数求解

其实，我们得出了上图这个模型后，这是对于y的预测函数，也就是hθ（x） 和真实的y是有一定的误差，于是我们可以得到下图

我们假定样本都是独立的，那么样本的联合概率：
P(x1,x2,x3,…..,xN)=P(x1)P(x2)P(x3)…..P(xN)
并且样本也是同分布的，那么ε的形成是建模过程中未考虑的各种因素叠加而成，根据中心极限定理，这种最后的加和应该导向正态分布。
那么，既然是正态分布，就应该有N(μ，σ^2)，这里的μ不为0，但是因为有截距θ0的存在，所以我们可以把模型进行移动使得μ变为0，所以可以认为μ的均值为0.
因为ε是符合正态分布的，所以我们根据正态分布函数可以得到下图：

又因为实际值y和预测值hθ（x）之间的关系，我们做一个替换，得到下图：