[深度之眼机器学习训练营第四期]线性回归

基本概念

首先看一下基本的概念与符号。x(i)x^{(i)}表示输入变量,也就是特征y(i)y^{(i)}表示输出变量,也被称为标签目标。二者组成的元组(x(i),y(i))(x^{(i)},y^{(i)})就表示一个训练样本,而nn个这样的训练样本就组成了训练集,即{(x(i),y(i));i=1,,n}\{(x^{(i)} , y^{(i)} ); i = 1, \cdots , n\}。此外,我们使用X\mathcal{X}表示输入值的空间,用Y\mathcal{Y}表示输出值的空间。将输入值映射到输入值的函数被称为假设(hypothesis),这些映射函数构成的集合被称为假设集,表示为h:XYh: \mathcal{X} \mapsto \mathcal{Y}。以线性函数为例,一个可能的假设为:
hθ(x)=θ0+θ1x1+θ2x2 h_\theta(x) = \theta_0 + \theta_{1}x_1 + \theta_2 x_2
其中,θi\theta_i是假设的参数(或称之为权重)。显然,对于不同的假设,其参数是不同的。

机器学习的流程就是在训练集上运行学习算法,从假设集中找到一个“好”的假设hh^*,以根据输入值预测输出值。如果我们需要预测的输出值是连续的,那么我们称之为回归问题;如果需要预测的值是离散的,那么就是分类问题。接下来,我们需要解决两个问题。第一个问题就是如何衡量假设的“好”与“坏”?第二个问题是怎样找到一个“好”的假设

损失函数

先来看一下第一个问题,如何衡量假设的“好”与“坏”。显然,一种直观的想法是在训练集上,预测值hθ(x)h_\theta(x)与真实值yy之间的误差越小越好。因此,我们定义一个函数来衡量不同参数θ\theta下每个样本的预测值hθ(x(i))h_\theta(x^{(i)})和真实值y(i)y^{(i)}之间的差距。这个函数就是损失函数。在回归问题中,常用的损失函数为平方误差函数:
J(θ)=12ni=1n(hθ(x(i))y(i))2 J(\theta) = \frac {1}{2n} \sum_{i=1}^n \left( h_\theta (x^{(i)}) - y^{(i)} \right)^2

参数学习

我们已经知道如何度量假设的“好”与“坏”,下面就需要解决第二个问题:如何找到“好”的假设,换句话说,就是如何学习出“好”的参数θ\theta。我们希望学到的参数能够使损失函数J(θ)J(\theta)最小化。下面介绍两种学习参数的方法。

梯度下降法

梯度下降是一种最优化方法。它首先将参数初始化,然后求解对应目标函数的梯度,沿着梯度下降最快的方向更新参数,直到目标函数收敛到最小值。单步更新的公式如下:
θjθjαθjJ(θ) \theta_j \coloneqq \theta_j - \alpha\frac{\partial}{\partial\theta_j}J(\theta)
其中α\alpha学习率,也叫做步长。实现梯度下降的关键是求解J(θ)J(\theta)θj\theta_j的偏导数:
θjJ(θ)=θj12(hθ(x)y)2=212(hθ(x)y)θj(hθ(x)y)=(hθ(x)y)θj(i=0dθixiy)=(hθ(x)y)xj \begin{aligned} \frac{\partial}{\partial \theta_j} J(\theta) &= \frac{\partial}{\partial \theta_j} \frac{1}{2} (h_\theta(x) - y)^2 \\ &=2 \cdot \frac{1}{2} (h_\theta(x) - y) \cdot \frac{\partial}{\partial \theta_j} (h_\theta(x) - y) \\ &=(h_\theta(x) - y)\cdot\frac{\partial}{\partial \theta_j}\left(\sum_{i=0}^{d}\theta_i x_i - y\right)\\ &=(h_\theta(x) - y)x_j \end{aligned}
因此,单个训练样本的更新规则如下:
θjθjα(hθ(x(i))y(i))xj(i),j{0,1,,d} \theta_j \coloneqq \theta_j - \alpha\left(h_\theta(x^{(i)})-y^{(i)}\right)x_j^{(i)},\forall j\in\{0,1,\cdots,d\}

也可以写成:
θθα(hθ(x(i))y(i))x(i) \theta \coloneqq \theta - \alpha\left(h_\theta(x^{(i)})-y^{(i)}\right)x^{(i)}

在使用梯度下降算法时,要进行特征缩放及归一化。这两步操作使所有的特征值处于相近的范围内,以保证损失函数J(θ)J(\theta)不是偏斜的。

正规方程法

因为最小化J(θ)J(\theta)是一个凸优化问题,所以J(θ)J(\theta)有全局唯一的最小值。这就意味着我们可以直接计算出该问题的解析解。

为了求解该问题,我们需要构造一个由所有训练样本组成的矩阵XX,矩阵的每一行表示一个训练样本,每一列表示不同的特征。这里XX是一个n×(d+1)n\times (d+1)维的矩阵(包含截距项):
X=[(x(1))T(x(2))T(x(n))T] X=\begin{bmatrix} —(x^{(1)})^T — \\ —(x^{(2)})^T —\\ \vdots \\ —(x^{(n)})^T— \end{bmatrix}
y\vec{y}为所有真实值组成的nn维向量:
y=[y(1)y(2)y(n)] \vec{y} = \begin{bmatrix} y^{(1)}\\ y^{(2)}\\ \vdots\\ y^{(n)}\\ \end{bmatrix}
因为hθ(x(i))=(x(i))Tθh_\theta(x^{(i)}) = (x^{(i)})^T\theta,其中θ\theta是一个d+1d+1维向量,所以有如下形式:
Xθy=[(x(1))Tθ(x(n))Tθ][y(1)y(n)]=[hθ(x(1))y(1)hθ(x(n))y(n)] \begin{aligned} X\theta -\vec{y} &=\begin{bmatrix} (x^{(1)})^T\theta\\ \vdots\\ (x^{(n)})^T\theta\\ \end{bmatrix}-\begin{bmatrix} y^{(1)}\\ \vdots\\ y^{(n)}\\ \end{bmatrix}\\ &=\begin{bmatrix} h_\theta(x^{(1)})-y^{(1)}\\ \vdots\\ h_\theta(x^{(n)})-y^{(n)}\\ \end{bmatrix} \end{aligned}
对于任意向量zz,我们有zTz=izi2z^Tz = \sum_{i}z_i^2。因此,可以将J(θ)J(\theta)写成矩阵形式:
J(θ)=12i=1n(hθ(x(i))y(i))2=12(Xθy)T(Xθy) \begin{aligned} J(\theta)&= \frac{1}{2}\sum_{i=1}^{n}\left(h_\theta(x^{(i)})-y^{(i)}\right)^2\\ &=\frac{1}{2} (X\theta-\vec{y})^T(X\theta-\vec{y}) \end{aligned}
J(θ)J(\theta)求导得:
θJ(θ)=θ12(Xθy)T(Xθy)=12((Xθ)TXθ(Xθ)TyyT(Xθ)+yTy)=12(θT(XTX)θyT(Xθ)yT(Xθ))=12(θT(XTX)θ2(yTX)θ)=12(θT(XTX)θ2(XTy)Tθ)=12(2XTXθ2XTy)=XTXθXTy \begin{aligned} \nabla_\theta J(\theta) &= \nabla_\theta \frac{1}{2}(X\theta-\vec{y})^T(X\theta-\vec{y})\\ &= \frac{1}{2}\left((X\theta)^TX\theta-(X\theta)^T\vec{y}-\vec{y}^T(X\theta)+\vec{y}^T\vec{y}\right)\\ &= \frac{1}{2}\left(\theta^T(X^TX)\theta-\vec{y}^T(X\theta)-\vec{y}^T(X\theta)\right)\\ &=\frac{1}{2}\left(\theta^T(X^TX)\theta- 2(\vec{y}^TX)\theta\right)\\ &= \frac{1}{2}\left(\theta^T(X^TX)\theta-2(X^T\vec{y})^T\theta\right)\\ &= \frac{1}{2}(2X^TX\theta-2X^T\vec{y})\\ &= X^TX\theta-X^T\vec{y} \end{aligned}
为了求解J(θ)J(\theta)的最小值,令其导数等于0,得到正规方程:
XTXθ=XTy X^TX\theta = X^T\vec{y}
因此,J(θ)J(\theta)最小值的闭式解为:
θ=(XTX)1XTy \theta = (X^TX)^{-1}X^T\vec{y}

XTXX^TX不可逆时,我们需要仔细检查训练集的特征,去除相关性较强的冗余特征;或者使用正则化技术。此外,还可以求解XTXX^TX的伪逆。

发布了286 篇原创文章 · 获赞 20 · 访问量 13万+
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 精致技术 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览