《人工智能基础》——线性回归简介

@EnzoReventon 《人工智能基础》

《人工智能基础》——线性回归简介

线性回归是机器学习中有监督机器学习下的一种算法。
回归问题主要关注确定一个唯一的因变量(dependent variable)(需要预测的值)和一个或多个数值型的自变量(independent variables)(预测变量)之间的关系。
需要预测的值：即目标变量，target，y，连续值预测变量：影响目标变量的因素，predictors，X1…Xn，可以是连续值也可以是离散值之间的关系：即模型，model，是我们要求解的.

简而言之，就是解方程。

简单线性回归

y=a+bx

这个公式中，y 是目标变量即未来要预测的值，x 是影响y 的因素，a,b 是公式上的参数即要求的模型。其实a 就是咱们的截距，b 就是斜率嘛！所以很明显如果模型求出来了，未来影响y 值的未知数就是一个x 值，也可以说影响y 值的因素只有一个，所以这是算法包含“简单”这个词的原因。同时可以发现从x 到y 的计算，x 只是一次方，所以这是算法叫“线性”回归的原因。
我们要做的就是求解 a 和 b。

最优解

Actual value：真实值，即已知的y。
Predicted value：预测值，是把已知的x 带入到公式里面和猜出来的参数a,b 计算得到的。
Error：误差，预测值和真实值的差距。
最优解：尽可能的找到一个模型使得整体的误差最小，整体的误差通常叫做损失Loss。
Loss：整体的误差，loss 通过损失函数loss function 计算得到。

上图中，蓝色点为预测值，绿色点为真实值，其误差就是Error。

多元线性回归

现实生活中，往往影响结果y 的因素不止一个，这时x 就从一个变成了n 个，X1…Xn同时简单线性回归的公式也就不在适用了。

上图中，examples 就是已知的样本，examples 中包含X 也包含Y，Y 就是outcome 已知结果，如果咱们有m 条历史记录，就是有m 条样本，也就是有m 个Y 值，或者说Y 为包含m 个值的一维向量。

同时每条样本的X 从X1 到Xn 有n 个影响结果的因素，图中为了简化相当于n=3 即有3个影响结果的因素，在机器学习中，我们也会把影响结果的因素叫特征feature，因为有多个所以图里就是features，值得一提的是X0 一列，是为了后面可以通过公式计算出截距项而加的，同时会把X0 一列所有值设置恒为1，这样X 就是m 行4 列的二维数组即矩阵。图中ε代表error 误差，每条样本预测的值和真实值之间都会有误差，所以有m 条样本就对应m 个ε值，ε和Y 一样是包含m 个值得一维向量。

最后图中还出现了β符号，从0 到n，n=3，总共有4 个，其实细心的你会发现这个正好和特征数量一样，我们可以理解或叫做这是特征的权值，代表对应特征的重要程度，也叫权重，英文weights，进而后面课程中也会用符号W 代替β。

在多元线性回归中W 是一维向量，代表的是W0 到Wn，我们也可以用线性代数的方式去表达公式，这时算法要求解的就是这个向量，如果维度很多我们当然需要计算机帮助我们来求解了。