一元线性回归

监督学习中，如果预测的变量是离散的，我们称其为分类（如决策树，支持向量机等），如果预测的变量是连续的，我们称其为回归。回归分析是确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。在回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。

简单来讲就是给一些离散的点，求出一条预测直线$h(x)=wx+b$，这条直线的要求是基本满足这些点的变化趋势，那么我们用什么来衡量这条直线选取的好坏呢？可以通过损失函数来衡量。$$J(w,b)=\frac{1}{m}\ast \sum _{i=1}^m(h(x^i)-y^i{)}^2=\frac{1}{m}\ast \sum _{i=1}^m(w{x}^i+b-y^i{)}^2$$
线性回归算法的目的是使$J(w,b)$最小，也就是我们所得到的预测直线越准确。具体方法可以用梯度下降法和最小二乘法，梯度下降上一篇博客已经给出，这里我们用最小二乘法来求预测直线。（1）
$$J(w,b)=\frac{1}{m}\ast \sum _{i=1}^m(w{x}^i+b-y^i{)}^2$$（2)$$\bar{x}=\frac{{\sum }_{i=1}^m{x}^i}{m}$$$$\bar{y}=\frac{{\sum }_{i=1}^m{y}^i}{m}$$（3）$$\frac{\partial J(w,b)}{\partial b}=2(w\bar{x}+b-\bar{y})$$$$\frac{\partial J(w,b)}{\partial w}=\frac{2}{m}(w\sum _{i=1}^m(x_i^2-{\bar{x}}^2)+m\bar{x}\bar{y}-\sum _{i=1}^m{x}^i{y}^i)$$(4)令$\frac{\partial J(w,b)}{\partial b}=0,\frac{\partial J(w,b)}{\partial w}=0$可得：$$b=\bar{y}-w\bar{x}$$$$w=\frac{{\sum }_{i=1}^m(x^i-\bar{x})(y^i-\bar{y})}{{\sum }_{i=1}^m(x^i-\bar{x}{)}^2}$$手工详细推导如下：

代码实现：

#利用最小二乘法求线性回归i
import matplotlib.pyplot as plt
import numpy as np
plt.rcParams['font.sans-serif'] = ['SimHei']  # 用来正常显示中文标签  
plt.rcParams['axes.unicode_minus'] = False  # 用来正常显示负号
x = np.array([150,200,250,300,350,400,600])
y = np.array([6450,7450,8450,9450,11450,15450,18450])
plt.scatter(x,y)#打印原始数据
plt.title("原始数据集")
plt.xlabel("X(面积)")
plt.ylabel("Y(价格)")
plt.show()
x_mean=np.mean(x)
y_mean=np.mean(y)
m=len(x)
x_a=0#(xi-x_mean)*(yi-y_mean)
x_b=0#(xi-x_mean)**2
for i in range(m):
    x_a+=(x[i]-x_mean)*(y[i]-y_mean)
    x_b+=(x[i]-x_mean)**2
w=x_a/x_b
b=y_mean-w*x_mean
print("单变量线性回归函数为y={} x + {}".format(w,b))
#画线性函数
plt.scatter(x,y)
lx=np.linspace(0,600)
ly=w*lx+bplt.plot(lx,ly)
plt.title("原始数据集")
plt.xlabel("X(面积)")
plt.ylabel("Y(价格)")
plt.show()