第 3 章线性模型

anaiei

已于 2022-06-20 21:57:34 修改

阅读量175

点赞数

文章标签：机器学习回归 python

于 2022-06-20 21:53:20 首次发布

本文链接：https://blog.csdn.net/anaiei/article/details/125381296

版权

第 3 章线性模型

3 . 1 线性回归

$f (x) = w 1 x 1 + w 2 x 2 + . . . + w d x d + b$

给定由d个属性描述的示例 x = (x1；x2 ; … ;x3 ）, 其中 xi是 x 在第 i 个属性上的取值。

一般用向量形式写成：
$f (x) = w T x + b$
线性回归模型的最小二乘“参数估计 "

均方误差是回归任务中最常用的性能度量，因此我们可试图让均方误差最小化，即
$(w *, b *) = a r g m i n Σ (f (x i) - y i) 2$
对上式子分别对w,b求偏导，令上式子等于零时可以得到

$w= Σyi(xi-x^-/(∑xi^2-1/m) 1/m(Σxi)^2$

$b = 1 / m \sum (y i - w x i)$
极大似然估计：
$L(\Theta )=\prod P(xi;\Theta )$
极大似然估计，通俗理解来说，就是利用已知的样本结果信息，反推最具有可能（最大概率）导致这些样本结果出现的模型参数值！换句话说，极大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。

3.2 多元线性回归

$f(xi)=w^{T}xi+b$

$f(xi)=(w1,w2,w3,...,wd)\binom{xi1}{xid}$

对数线性回归

在这里插入图片描述
$$
lny=w^T + b

$y=g^-1(w^T + b)$

这样得到的模型称为“广义线性模型" 显然，对数线性回归是广义线性模型在g () = In()时的特例.

3 .3 对数几率回归

若要做的是分类任务该怎么办？只需找一个单调可微函数将分类任务的真实标记y 与线性回归模型的预测值联系起来.

$y=\frac{1}{1+e^-z}$
类似于式广义线性模型，该式子可变化为
$ln\frac{y}{1-y}=w^T+b$
若将y 视为样本x 作为正例的可能性，则 1 - y 是其反例可能性,两者的比值:
$y / (1 - y)$

对几率取对数则得到 “对数几率”(log odds,亦称logit)
$\frac{y}{1-y}$
的y 视为类后验概率估计
$\frac{p(y=0∣x)}{p(y=1∣x)}=w^T+b$
显然有
$p(y=1∣x)=\frac{ew^Tx+b}{1+ew^Tx+b}$

$p(y=0∣x)=\frac{ew^Tx+b}{1+ew^Tx+b}$
于是，我们可通过 “极大似然法”(maximum likelihood method)来估计， w 和 b

$L(β)= i=1∏m p(yi∣ x i ^;β)$
两边取对数
$\ln L(\beta)= \sum_{i=1}^m \ln (y_ip_1(\hat{x_i};\beta)+(1-y_i)p_0(\hat{x};\beta))$
上式达到最小
$ℓ(β)= ∑(−y i β T x i^ +ln(1+e^βTxi))$
信息论