【机器学习】从房价预测问题看回归算法

关键词:机器学习 / 回归


回归问题是什么

回归问题是除了分类问题以外,机器学习中另一个经典问题。本节我们以从房价预测为问题背景,逐步介绍分类问题及其相关算法。

回归的目的是想拟合一组数据的输入 x \boldsymbol{x} x和输出 y y y之间的映射关系 f ( ⋅ ) f(\cdot) f(),进而用得到的拟合模型 f ( ⋅ ) f(\cdot) f()对未知的样本 x t \boldsymbol{x}_t xt进行预测。分类和回归的最显著区别,是输出变量 y y y的类型不同:

  • 回归: y y y连续变量,如预测深圳市南山区住宅的明年房价,是一个回归任务;
  • 分类: y y y离散变量,如预测深圳市南山区住宅的明年房价是涨是跌,是一个分类任务。

房价会受很多因素的影响,如面积、所在地区便利程度、开发商品质和所在学区等等。我们希望拟合出来房价和这些因素的关系,进而对未知的房价进行预测。如果我们考虑多个影响房价的因素,那么就是一个多元回归问题(又称多变量线性回归)。特别地,假设只考虑面积,拟合房价和面积之间的关系,那么就是一个一元回归问题:

  • 多元回归: y = f ( x ) y=f(x) y=f(x),其中影响因素仅有一个特征,即 x x x是一维;
  • 一元回归: y = f ( x ) , x = [ x 1 , x 2 , . . . , x d ] y=f(\boldsymbol{x}),\boldsymbol{x}=[x_1,x_2,...,x_d] y=f(x),x=[x1,x2,...,xd],其中 d d d表示元的个数,也即特征的维度。

根据房价和影响因素之间的关系的类型,又可以分为线性回归和非线性回归,前者的潜在假设是输入、输出存在线性关系,而后者则认为输入和输出存在非线性映射:

  • 线性回归: y = w T x + b = w 1 x 1 + w 2 x 2 + ⋯ + w d x d + b y=\boldsymbol{w}^{T}\boldsymbol{x}+b=w_1x_1+w_2x_2+\cdots+w_dx_d+b y=wTx+b=w1x1+w2x2++wdxd+b,其中 d d d表示特征的个数;

  • 非线性回归:常见的如多项式回归 y = w 0 + w 1 x 1 + w 2 x 2 2 + ⋯ + w d x d d y=w_0+w_1x_1+w_2x_2^2+\cdots+w_dx_d^d y=w0+w1x1+w2x22++wdxdd

本次我们将以房价问题为例,从最简单的一元线性回归入手,了解回归问题的细节。


生成数据

我们用 y y y表示房价,用 X X X表示影响房价的面积、所在地区便利程度、开发商品质等因素的向量。有房价标签的训练数据集为 { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x n , y n ) } \{(\boldsymbol{x}_1,y_1),(\boldsymbol{x}_2,y_2),\cdots,(\boldsymbol{x}_n,y_n)\} {(x1,y1),(x2,y2),,(xn,yn)},我们希望可以基于这些数据训练得到拟合二者关系的函数 f ( ⋅ ) f(\cdot) f(),当遇到新的测试数据 x t \boldsymbol{x}_t xt,就可以预测得到它对应的房价 f ( x t ) f(\boldsymbol{x}_t) f(xt)

现在假设先只考虑面积因素来预测房价,手动生成以下面积和房价数据

x = [100, 60, 90, 120, 150, 170, 110, 200, 250, 220, 30, 70, 80, 140, 95] # 面积
y = [405, 260, 465, 600, 750, 780, 500, 930, 999, 780, 149, 350, 404, 650, 500] # 房价

数据可视化效果如下:
在这里插入图片描述
我们使用前10组数据作为训练集训练的一元线性回归模型,后5组数据留作测试。即训练数据:

x_train = [100, 60, 90, 120, 150, 170, 110, 200, 250, 220] # 面积
y_train = [405, 260, 465, 600, 750, 780, 500, 930, 999, 780] # 房价

测试数据:

x_test = [30, 70, 80, 140, 95] # 面积
y_test = [149, 350, 404, 650, 500] # 房价

最小二乘法学习一元线性回归模型

我们尝试简单的线性回归模型对数据进行拟合,即假设房价和面积的因素的关系为 f ( x ) = w x + b f(x)=wx+b f(x)=wx+b。接下来的任务是学习这里的参数 w w w b b b使得模型拟合得到的 y y y值和对应的真实训练数据的 y y y值尽量接近。回归问题中常用均方误差(mean squared error)来评估训练集上预测结果相对真实结果的差异,即要求模型参数满足
w ∗ , b ∗ = arg ⁡ min ⁡ w , b 1 m ∑ i = 1 m ( f ( x i ) − y i ) 2 = arg ⁡ min ⁡ w , b 1 m ∑ i = 1 m ( w x i + b − y i ) 2 \begin{aligned} w^*,b^* &=\arg \min_{w,b} \frac{1}{m}\sum_{i=1}^m(f(x_i)-y_i)^2 \\ &=\arg \min_{w,b} \frac{1}{m}\sum_{i=1}^m(wx_i+b-y_i)^2 \end{aligned} w,b=argw,bminm1i=1m(f(xi)yi)2=argw,bminm1i=1m(wxi+byi)2

最小二乘法是常用的用于解决上述优化问题的方法,上面的均方误差损失 L = L= L= 1 m ∑ i = 1 m ( w x i + b − y i ) 2 \frac{1}{m}\sum_{i=1}^m(wx_i+b-y_i)^2 m1i=1m(wxi+byi)2分别对 w w w b b b求导,可以得到
∂ L ∂ w = 1 m ⋅ 2 ( w ∑ i = 1 m x 2 2 − ∑ i = 1 m ( y i − b ) x i ) ∂ L ∂ b = 1 m ⋅ 2 ∑ i = 1 m ( w x i + b − y i ) w = m ⋅ ∑ i = 1 m x i y i − ∑ i = 1 m x i ∑ i = 1 m y i m ⋅ ∑ i = 1 m x i 2 − ( ∑ i = 1 m x i ) 2 b = ∑ i = 1 m y i ∑ i = 1 m x i 2 − ∑ i = 1 m x i ∑ i = 1 m x i y i m ⋅ ∑ i = 1 m x i 2 − ( ∑ i = 1 m x i ) 2 \begin{aligned} \frac{\partial \mathcal{L}}{\partial w} &= \frac{1}{m}\cdot 2\bigg(w\sum_{i=1}^m x_2^2-\sum_{i=1}^m(y_i-b)x_i\bigg) \\ \frac{\partial \mathcal{L}}{\partial b} &= \frac{1}{m}\cdot 2\sum_{i=1}^m(wx_i+b-y_i) \\ w &= \frac{m\cdot \sum_{i=1}^mx_i y_i - \sum_{i=1}^m x_i \sum_{i=1}^m y_i }{m\cdot \sum_{i=1}^m x_i ^2 - \big(\sum_{i=1}^m x_i \big)^2} \\ b &=\frac{\sum_{i=1}^m y_i \sum_{i=1}^m x_i ^2 - \sum_{i=1}^m x_i \sum_{i=1}^m x_i y_i }{m\cdot\sum_{i=1}^m x_i ^2 - \big(\sum_{i=1}^m x_i \big)^2} \end{aligned} wLbLwb=m12(wi=1mx22i=1m(yib)xi)=m12i=1m(wxi+byi)=mi=1mxi2(i=1mxi)2mi=1mxiyii=1mxii=1myi=mi=1mxi2(i=1mxi)2i=1myii=1mxi2i=1mxii=1mxiyi

这样我们就得到了线性回归的模型的参数,也就得到了基于训练数据的回归模型。根据以上结果,定义以下线性回归类:

class LinearRegression:
    def __init__(self, param=None):
        self.param = param

    def fit(self, x, y):
        sum_x = np.sum(x)
        sum_y = np.sum(y)
        
        mul_xy = np.multiply(x, y)
        sum_mul = np.sum(mul_xy)
        
        x_square = np.square(x)
        sum_xsqr = np.sum(x_square)
        
        y_square = np.square(y)
        sum_ysqr = np.sum(y_square)
        
        div = x.shape[0] * sum_xsqr - np.square(sum_x) # 分母
        coef = x.shape[0] * sum_mul - sum_x * sum_y # w的分子
        intercept = sum_y * sum_xsqr - sum_x * sum_mul # b的分子
        
        self.w = coef / div
        self.b = intercept /div
        
    def predict(self, x):
        return self.w * x + self.b

先初始化线性回归类,然后基于训练数据进行拟合

LR = LinearRegression()
LR.fit(x_train,y_train)

用拟合出来的模型,先在训练数据上对比看看预测结果和真实 y y y值的差异:

pred_y_train = LR.predict(x_train)

在这里插入图片描述

再来看在测试数据上的表现

pred_y_test = LR.predict(x_test)

在这里插入图片描述

图中的蓝色线,拟合了面积和房价之间的映射关系,就可以用来根据面积来预测房价啦。


最小二乘法学习多元线性回归模型

当我们关心的房价影响因素不止面积,还有所在地区便利程度、开发商品质和所在学区等时,每个样本的特征 x \boldsymbol{x} x表示一个多维向量,相应的要学习的回归模型变为 y = w T x + b = w 1 x 1 + w 2 x 2 + ⋯ + w d x d + b y=\boldsymbol{w}^{T}\boldsymbol{x}+b=w_1x_1+w_2x_2+\cdots+w_dx_d+b y=wTx+b=w1x1+w2x2++wdxd+b。将参数 w \boldsymbol{w} w b b b合并为一个参数 a \boldsymbol{a} a,要学习的模型为 y = x a y=\boldsymbol{x}\boldsymbol{a} y=xa。类似地,仍可以使用最小二乘法来对参数 a \boldsymbol{a} a进行估计。

将数据写成矩阵的形式,即 X ∈ R m × ( d + 1 ) \boldsymbol{X}\in\mathbb{R}^{m\times(d+1)} XRm×(d+1)每一行为一条高维数据,参数的优化目标变为:

a ∗ = arg ⁡ min ⁡ a L = arg ⁡ min ⁡ a 1 m ( y − X a ) T ( y − X a ) \begin{aligned} \boldsymbol{a}^* &=\arg \min_{\boldsymbol{a}}\mathcal{L} \\ &=\arg \min_{\boldsymbol{a}} \frac{1}{m}(\boldsymbol{y}-\boldsymbol{X}\boldsymbol{a})^T (\boldsymbol{y}-\boldsymbol{X}\boldsymbol{a}) \end{aligned} a=argaminL=argaminm1(yXa)T(yXa)

对参数 a \boldsymbol{a} a进行矩阵运算的求导,得
∂ L ∂ a = 1 m ⋅ 2 X T ( X a − y ) \begin{aligned} \frac{\partial{\mathcal{L}}}{\partial\boldsymbol{a}}=\frac{1}{m}\cdot 2\boldsymbol{X}^T(\boldsymbol{X}\boldsymbol{a}-\boldsymbol{y}) \end{aligned} aL=m12XT(Xay)

令上式为0即可得到参数 a \boldsymbol{a} a的最优解,当 X T X \boldsymbol{X}^T\boldsymbol{X} XTX为满秩矩阵或正定矩阵时,可以得到
a ∗ = ( X T X ) − 1 X T y \begin{aligned} \boldsymbol{a}^* = (\boldsymbol{X}^T\boldsymbol{X})^{-1}\boldsymbol{X}^T\boldsymbol{y} \end{aligned} a=(XTX)1XTy
X T X \boldsymbol{X}^T\boldsymbol{X} XTX可逆,可用numpy库的linalg.inv求解;而当不可逆时,求得伪逆,又称广义逆矩阵,是逆矩阵的推广形式,可用linalg.pinv求解。

重新进行线性回归求解,相应的代码如下

class LinearRegression_multi:
    def __init__(self, param=None):
        self.param = param

    def fit(self, x, y):
        self.a = np.linalg.pinv(x.T.dot(x)).dot(x.T).dot(y) 

    def predict(self, x):
        return np.dot(x, self.a)

数据上,简单地增设第二维特征开发商品质,为0到1之间的打分,一共两维特征如下

x = np.array([[100, 0.8], 
              [ 60, 0.6],
              [ 90, 0.2],
              [120, 0.5],
              [150, 0.8],
              [170, 0.6],
              [110, 0.5],
              [200, 0.5],
              [250, 0.5],
              [220, 0.6],
              [ 30, 0.4],
              [ 70, 0.9],
              [ 80, 0.8],
              [140, 0.9],
              [ 95, 0.5]]) 

在分割训练数据和测试数据之前,注意这里还有两点需要注意

  • 第二维特征和第一维特征的量纲差异相对大,但是不需要先进行归一化、标准化等操作

  • 需要将特征数据和全1的向量拼接,这样才能将参数 w \boldsymbol{w} w b b b合并为一个参数 a \boldsymbol{a} a进行求解

one = np.ones((len(x),1))
x = np.concatenate((x_normed, one),axis=1)

举例数据较少,我们仍然直接将数据的前10个作为训练集,后5个作为测试集进行划分。数据标签y仍同前一个例子。

y = np.array([405, 260, 465, 600, 750, 780, 500, 930, 999, 780, 149, 350, 404, 650, 500]) 
x_train = x[:10]
y_train = y[:10]
x_test = x[10:]
y_test = y[10:]

先初始化多元线性回归类,然后基于训练数据进行拟合

LR_multi = LinearRegression_multi()
LR_multi.fit(x_train,y_train)

用拟合出来的模型,先在训练数据上对比看看预测结果和真实 y y y值的差异:

pred_y_train = LR_multi.predict(x_train)

在这里插入图片描述

再来看在测试数据上的表现

pred_y_test = LR.predict(x_test)

在这里插入图片描述

至此线性回归模型,拟合了面积、开发商品质和房价之间的映射关系,就可以用来根据面积来预测房价啦。


梯度下降法学习回归模型

当线性模型不再满足我们拟合数据的需求时,最小二乘法使导数为0不一定能求出最优的闭式解,这个时候可以解决非线性优化的梯度下降法就该出场啦。

梯度下降法采用逐步迭代的方式去不断逼近极值点,即均方误差最小的地方,对应的参数即为最优参数。对于前述线性回归,损失函数和对应的梯度可以写成
L ( θ ) = 1 m ( X θ − y ) T ( X θ − y ) ▽ θ L ( θ ) = ▽ θ ( 1 m ( X θ − y ) T ( X θ − y ) ) = 2 m X T ( X θ − y ) \begin{aligned} \mathcal{L}(\theta) &= \frac{1}{m} (\boldsymbol{X}\theta - \boldsymbol{y})^T(\boldsymbol{X}\theta - \boldsymbol{y}) \\ \triangledown_{\theta}\mathcal{\mathcal{L}}(\theta) &= \triangledown_{\theta} \Big(\frac{1}{m} (\boldsymbol{X}\theta - \boldsymbol{y})^T(\boldsymbol{X}\theta - \boldsymbol{y})\Big) \\ &= \frac{2}{m}\boldsymbol{X}^T(\boldsymbol{X}\theta - \boldsymbol{y}) \end{aligned} L(θ)θL(θ)=m1(Xθy)T(Xθy)=θ(m1(Xθy)T(Xθy))=m2XT(Xθy)

每次迭代的时候,按照学习率(步长) α \alpha α更新参数即可
θ ← θ − α ▽ θ L ( θ ) \begin{aligned} \theta \leftarrow \theta - \alpha \triangledown_{\theta}\mathcal{\mathcal{L}}(\theta) \end{aligned} θθαθL(θ)
设置初始化参数、学习率、迭代次数,依照上述公式进行迭代,我们就可以得到相应的梯度下降结果。具体代码如下:

class LinearRegression_gd:
    def __init__(self, param=None):
        self.param = param

    def gradientDescent(self, x, y, alpha, iteration):  
        m = len(x)
        self.theta = np.zeros(x.shape[1])
        for i in range(iteration):
            gradient = 2/m * np.dot(x.T, (np.dot(x, self.theta) - y)) 
            self.theta = self.theta - alpha * gradient
        cost = 2/m * (np.dot(x, self.theta) - y).T.dot(np.dot(x, self.theta) - y)
        print('cost', cost)
        return cost
    
    def predict(self, x):
        return np.dot(x, self.theta)

注意这里在进行梯度下降前,对数据进行预处理的时候,需要先进行归一化或标准化的操作,否则会不同维度的数据可能相差太大,不能用同一步长进行迭代更新。这里选择了min-max normalization

x_normed = (x - x.min(axis=0)) / (x.max(axis=0) - x.min(axis=0))

先初始化回归类,然后基于训练数据进行拟合

LR_gd = LinearRegression_gd()
LR_gd.gradientDescent(x_train, y_train, alpha = 0.5, iteration = 200)

用拟合出来的模型,先在训练数据上对比看看预测结果和真实 y y y值的差异:

pred_y_train = LR_gd.predict(x_train)

在这里插入图片描述

再来看在测试数据上的表现

pred_y_test = LR_gd.predict(x_test)

在这里插入图片描述

结果和前面的基于最小二乘法的多元线性回归是一样的,感兴趣的同学可以自己check一下~

其他非线性回归的梯度下降法是类似的,但是需要根据不同的非线性关系进行相应的调整。


更多内容,欢迎关注我们的公众号:AI算法词典

我们的团队致力于拆解AI算法,每篇附上代码实现,构建AI学习从入门到精通的词典路径!

来找我们玩!热烈欢迎交流哦 😃

已标记关键词 清除标记
相关推荐
©️2020 CSDN 皮肤主题: 技术工厂 设计师:CSDN官方博客 返回首页