1-线性回归-需补充

1.线性回归-基础概念

回归分析是一种预测性的回归建模技术，它研究的是因变量（目标）和自变量（特征）之间的关系，用于预测各种连续变量的值，例如通过父亲的身高、母亲的身高、家庭收入等预测同学的身高，通过地段、面积等预测房屋价格。 线性回归基于简单的假设： 假设自变量和因变量之间的关系是线性的， 即因变量可以表示为自变量中元素的加权和.

我们把特征表示为向量$x=(x_1,x_2,...,x_m)$，加权权重表示为向量$w=(w_1,w_2,...,w_m)$，再添加一个偏置项$b$，线性回归模型可以表示为:

$$y=w^{T}x+b$$

为了方便表示，我们把偏置项也移动到特征里，作为$x_0$，且其值总为1，也为偏置项增加一个权重$w_0$，那么线性回归可以表示为：

$$y=w^{T}x$$

这样就简洁多了，现在问题来了，如何求解影响权重$w$呢，因为影响因素的值我们是已知的，只要知道权重，我们就可以通过模型得到一个预测结果。

1.1误差函数

一个很自然的想法是，我们首先定义个误差函数，去求解这个误差函数最小的时候所对应的$W$就可以了。其中对于一个回归问题，我们通常采用MSE(Mean Square Error)作为误差函数：

$$MSE=\frac{1}{n}\sum _1^n(y\_tru{e}^{(i)}-w^T{x}^{(i)}{)}^2$$

其中n为样本数量，$y\_tru{e}^i$为第$i$个样本的真实值，$w^T{x}^{(i)}$为线性回归模型的预测值。注意到，我们的误差函数MSE是一个关于$w$可导的函数，因此我们可以通过梯度下降的方法，去求解使得误差函数最小时的$w$。

1.2梯度下降

梯度是函数关于参数的徧导数，这里以我们的MSE函数为例，$grad=\frac{\partial MSE}{\partial w}$,表示函数的某处最小值到最大值的指向与最大值与最小值的差异程度。那么意味着梯度不仅告诉我们，函数变大的方向，也告诉了我们变大的程度。我们的函数（MSE）是越小越好，那么我们只要朝着梯度的反方向迈进就可以了。

在上图中，我们绘制了一个函数 $func(x_1,x_2)$，其中底部的两个坐标为$x_1,x_2$，纵轴坐标为函数对应的取值，底部的箭头是在不同$x_1,x_2$取值下的梯度。可以看到，梯度总是指向让函数取值变大的方向，梯度的箭头越长意味着变化越大。因此，我们只需要让$x_1,x_2$的取值，不断朝着梯度的反方向更新，就可以一步步走向函数的最低点。

利用求导公式可知,梯度等于:
$$\frac{\partial MSE}{\partial w_i}=-1/n\ast \sum _{j=1}^{j=n}2\ast (y_i^{(j)}-w_i{x}_i^{(j)})\ast x_i^{(j)}$$

那么，在线性回归中，我们可以沿着梯度的反方向进行更新：

$$w_i=w_i-learning\_rate\ast \frac{\partial MSE}{\partial w_i}$$

下面我们就利用梯度下降，来解决一个房价预测的问题。

2线性回归

线性回归是对一个或多个自变量之间关系进行建模的方法。如果有两个特征，就是二元线性回归，要拟合的就是二维空间中的一个平面。如果有多个特征，那就是多元线性回归：
$$y_i={\beta }_1+{\beta }_2{x}_{2i}+{\beta }_3{x}_{3i}+\cdots +{\beta }_k{x}_{ki}+{\epsilon }_i$$

注意：线性回归，前提是假设y和x呈线性关系，如果两者不是线性关系，就要选用其他的模型。

具体代码参考:kaggle房价预测