西瓜书-第3章线性模型

最新推荐文章于 2024-05-16 16:33:12 发布

louisacea

最新推荐文章于 2024-05-16 16:33:12 发布

阅读量186

点赞数

分类专栏： ML 西瓜书文章标签： Machine Learning math

本文链接：https://blog.csdn.net/louisacea/article/details/81842674

版权

ML 同时被 2 个专栏收录

1 篇文章 0 订阅

订阅专栏

西瓜书

1 篇文章 0 订阅

订阅专栏

3.1 基本形式

给定由d个属性描述的示例 $x=(x_{1};x_{2};...;x_{d})$ ，其中 $x_{1}$ 是x的第i个属性上的取值，线性模型试图学得一个通过属性的线性组合来进行预测的函数，即

$f(x)=\omega _{1}x_{1}+\omega_{2}x_{2}+...+\omega_{d}x{d}+b$

一般用向量形式写成

$f(x)=\omega^Tx+b$

其中 $\omega=(\omega_1;\omega_2;...;\omega_d)$ . $\omega$ 和b学得之后，模型就可以确定。

3.2 线性回归

给定数据集 $D=\left \{ (x_{1}, y_{1}),(x_{2}, y_{2}),...,(x_{m},y_{m})\right \}$ ，其中 $x_{i}=(x_{i1};x_{i2};...;x_{id}), y_{i}\in \mathbb{R}$ 。”线性回归“试图学得一个线性模型以尽可能准确地预测实值输出标记。我们先考虑最简单的情形：输入属性的数目只有一个。为便于讨论，此时我们忽略关于属性的下标，即 $D=\left \{ (x_{i}, y_{i}) \right \}_{i=1}^{m}$ ，其中 $x_{i}\in \mathbb{R}$ .对离散属性，若属性间存在”序“关系，可通过连续化将其转化为连续值，例如二值属性”身高“的取值”高“”矮“可转化为{1.0, 0.0}，三值属性”高度“的取值”高“”中“”低“可转化为{1.0, 0.5, 0.0}；若属性间不存在序关系，假定有k个属性值，则通过转化为k维向量。

为确定 $\omega$ 和b，由于均方误差时回归任务中最常用的性能度量，因此我们可让均方误差最小化，即

$(\omega^{*}, b^{*})=\underset{(\omega, b)}{argmin}\sum_{i=1}^{m}(f(x_{i})-y_{i})^2=\underset{(\omega, b)}{argmin}\sum_{i=1}^{m}(y_{i}-\omega x_{i}-b)^2$

均方误差有非常好的集合意义，它对应了常用的欧几里得距离或简称”欧式距离“。基于均方误差最小化来进行模型求解的方法称为”最小二乘法“。在线性回归中，最小二乘法就是试图找到一条直线，使所有样本到直线上的欧式距离之和最小。

求解 $\omega$ 和b使 $E_{(\omega, b)}=\sum_{i=1}^{m}(y_{i}-\omega x_{i}-b)^2$ 最小化的过程，称为线性回归模型的最小二乘”参数估计“。我们可将 $E_{(\omega,b)}$ 分别对 $\omega$ 和b求导，得到

$\frac{\partial E_{(\omega, b)} }{\partial \omega}=2(\omega\sum_{i=1}^{m}x_{i}^{2}-\sum_{i=1}^{m}(y_{i}-b)x_{i}), \frac{\partial E_{(\omega, b)} }{\partial \omega}=2(mb-\sum_{i=1}^{m}(y_{i}-\omega x_{i}))$

然后令上面两式为0可得到 $\omega$ 和b最优解的闭式解，即：

$\omega=\frac{\sum_{i=1}^{m}y_{i}(x_{i}-\bar{x})}{\sum_{i=1}^{m}x_{i}^{2}-\frac{1}{m}(\sum_{i=1}^{m})^{2}}, b=\frac{1}{m}\sum_{i=1}^{m}(y_{i}-\omega x_{i})$

其中 $\bar{x}=\frac{1}{m}\sum_{i=1}^{m}(y_{i}-\omega x_{i})$ 为x的均值。

更一般的情形是如本节开头的数据集D，样本有d个属性描述。此时我们试图学得 $f(x_{i})=\omega^{T}x_{i}+b$ ，使得 $f(x_{i})\simeq y_{i}$ ，这就称为“多元线性回归”。类似的，可利用最小二乘法对 $\omega$ 和b进行估计。为便于讨论，我们把 $\omega$ 和b吸收入向量形式 $\hat{\omega}=(\omega;b)$ ，相应的，把数据集D表示为一个 m*(d+1) 大小的矩阵X，其中每行对应一个示例，该行前d个元素对应于示例的d个属性值对应于示例的d个属性值，最后一个元素横置为1，即：

$X=\begin{pmatrix} x_{11} & x_{12} & ... & x_{1d} & 1\\ x_{21} & x_{22} & ... & x_{2d} & 1 \\ ... & ... & ... & ...& ...\\ x_{m1} & x_{m2} & ... & x_{md} & 1 \end{pmatrix}=\begin{pmatrix} x_{1}^{T} & 1\\ x_{2}^{T} & 1\\ ... & ...\\ x_{m}^{T} & 1 \end{pmatrix}$

再把标记也写成标量的形式 $y=(y_{1};y_{2};...;y_{m})$ ，有 $\hat{\omega^{*}}=\underset{\hat{\omega}}{argmin}(y-X \hat{\omega})^{T}(y-X \hat{\omega})$ 。

令 $E_{\hat\omega}=(y-X \hat\omega)^{T}(y-X\hat\omega)$ ，对 $\hat\omega$ 求导得到 $\frac{\partial E_{\hat\omega}}{\partial \hat\omega}=2X^{T}(X\hat\omega-y)$ ，令其为0可得 $\hat\omega$ 最优解的闭式解，此时我们做一个简单的讨论。当 $X^{T}X$ 为满秩矩阵或正定矩阵时，令前面的式子为0可得 $\hat{\omega^{*}}=(X^{T}X)^{-1}X^{T}y$ 。令 $\hat{x_{i}}=(x_{i}, 1)$ ，则最终学得的多元线性回归模型为 $f(\hat x_{i}^{T})=\hat x_{i}^{T}(X^{T}X)^{-1}X^{T}y$ 。