吃瓜教程task02 第3章 线性模型

第三章 线性模型

2022/5/16 雾切凉宫 至3.2节/视频P3

3.1 基本形式

线性模型(linear model)试图学得一个通过属性的线性组合来进行预测的函数，即
$$f(x)=w_1{x}_1+w_2{x}_2+\dots \dots +w_d{x}_d+b$$
向量形式：
$$f(x)=w^{T}x+b$$
w和b学得之后，模型就得以确定。

3.2 线性回归

数据集D：
D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , … … ( x m , y m ) , } D=\{(x_1,y_1),(x_2,y_2),……(x_m,y_m),\} D={(x1​,y1​),(x2​,y2​),……(xm​,ym​),}
其中：
$$x_i=(x_{i1};x_{i2};\dots \dots ;x_{id})$$

P2 一元线性回归

p2指的是datawhale吃瓜教程视频p2

P2.1 最小二乘法

均方误差（损失函数）：
$$E(w,b)=\sum _{i=1}^m(y_i-f(x_i){)}^2=\sum _{i=1}^m(y_i-w{x}_i-b{)}^2$$
均方误差损失函数与“欧式距离”相同，基于均方误差求解模型称为最小二乘法
$$(w,b)=argmi{n}_{(w,b)}\sum _{i=1}^m(y_i-w{x}_i-b{)}^2$$
P.S. argmin指后面式子取最小值时（w，b）的值！

P2.2 极大似然估计

极大似然原理：使得观测样本出现概率最大的分布就是待求分布，也即使得联合概率(似然函数) L(θ)取到最大值的θ*即为θ的估计值。
$$x_1,x_2,x_3\dots \dots ,x_n是n个独立同分布的样本，x已知\theta 未知$$
他们的联合概率为（似然函数）：

说人话：让L(θ)最大的θ值即为待求分布参数θ的值

P.S：分布参数：如正态分布N(μ，σ^2)。
$$一般的，使用lnL(\theta )代替L(\theta )以简化连乘项$$

误差ε

线性回归模型为：
$$y=wx+b+\epsilon$$
ε为不受控制的随机误差，通常假设其服从正态分布ε~N(0，σ^2)

故ε的概率分布函数为：
$$p(\epsilon )=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{{\epsilon }^2}{2{\sigma }^2}}$$
进而可知：
$$p(y)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(y-(wx+b){)}^2}{2{\sigma }^2}}$$

极大似然估计解法

上式可看做y~N(wx+b，σ^2)，写出似然函数L(w,b):

根据最大似然理论，求似然函数L(w,b)取最大值时(w,b)的取值。

由于上式中第一项为常数，所以问题简化为求第二项的最大值：
$$(w^{\ast },b^{\ast })=argma{x}_{(w,b)}lnL(w,b)=argmi{n}_{(w,b)}\sum _{i=1}^m(y_i-w{x}_i-b{)}^2$$
可见所得结果与之前使用最小二乘法所得结果一致

P2.3 求解w和b

由之前最小二乘法与极大似然估计法都得出同一个结果：
$$(w^{\ast },b^{\ast })=argmi{n}_{(w,b)}\sum _{i=1}^m(y_i-w{x}_i-b{)}^2$$

$$E(w,b)=\sum _{i=1}^m(y_i-w{x}_i-b{)}^2$$

对于E(w,b)为凸函数的证明这里不再赘述。

分别对w和b求导：
$$\frac{\partial E(w,b)}{\partial w}=2(w\sum _{i=1}^m{x}_i^2-\sum _{i=1}^m(y_i-b)x_i)$$

$$\frac{\partial E(w,b)}{\partial b}=2(mb-\sum _{i=1}^m(y_i-w{x}_i))$$

由于▽E(w,b)=0时函数取最小值，代入上述二式得：
$$w=\frac{\sum _{i=1}^m{y}_i(x_i-\overline{x})}{\sum _{i=1}^m{x}_i^2-\frac{1}{m}(\sum _{i=1}^m{x}_i{)}^2}$$

$$b=\frac{1}{m}\sum _{i=1}^m(y_i-w{x}_i)$$

P2.4 机器学习三要素

1. 模型:根据具体问题，确定假设空间
2. 策略:根据评价标准，确定选取最优模型的策略(通常会产出一个“损失函数”
3. 算法:求解损失函数，确定最优模型

P3 多元线性回归

P3.1 由最小二乘法导出w

模型为：
$$f(x_i)=\left[\begin{array}{ccc}{w}_1& w_2\dots w_d& b\end{array}\right]\left[\begin{array}{c}{x}_{i1}\\ x_{i2}\\ ⋮\\ x_{id}\\ 1\end{array}\right]$$
简写为：
$$f(\widehat{x_i})=\widehat{w^T}\widehat{x_i}$$
由最小二乘法可得损失函数E(w)：
$$E(\hat{w})=\sum _{i=1}^m(y_i-f(\widehat{x_i}){)}^2=\sum _{i=1}^m(y_i-\widehat{w^T}\widehat{x_i}{)}^2$$
向量化损失函数E(w)：

举个例子：
$$a^2+b^2=[a,b]\left[\begin{array}{c}a\\ b\end{array}\right]$$
所以损失函数E(w)可化简为：
$$E(\hat{w})=\left[\begin{array}{cc}{y}_1-{\hat{w}}^T\widehat{x_1}& y_2-{\hat{w}}^T\widehat{x_2}\dots y_m-{\hat{w}}^T\widehat{x_m}\end{array}\right]\left[\begin{array}{c}{y}_1-{\hat{w}}^T\widehat{x_1}\\ y_2-{\hat{w}}^T\widehat{x_2}\\ ⋮\\ y_m-{\hat{w}}^T\widehat{x_m}\end{array}\right]$$
又对上式中最后的列向量可以化简：

$$\left[\begin{array}{c}{y}_1-{\hat{w}}^T\widehat{x_1}\\ y_2-{\hat{w}}^T\widehat{x_2}\\ ⋮\\ y_m-{\hat{w}}^T\widehat{x_m}\end{array}\right]=\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_m\end{array}\right]\left[\begin{array}{c}{\hat{w}}^T\widehat{x_1}\\ {\hat{w}}^T\widehat{x_2}\\ ⋮\\ {\hat{w}}^T\widehat{x_m}\end{array}\right]=y-X\hat{w}$$
最终**损失函数E(w)**为：
$$E(\hat{w})=(y-X\hat{w}{)}^T(y-X\hat{w})$$
求w的问题转化为：
$$\hat{w}=argmi{n}_{\hat{w}}E(\hat{w})=argmi{n}_{\hat{w}}(y-X\hat{w}{)}^T(y-X\hat{w})$$
同样对于E(w)为凸函数的证明这里不再赘述。

对w求导得：
$$\frac{\partial E(\hat{w})}{\partial \hat{w}}=2X^T(X\hat{w}-y)$$

由于▽E(w)=0时函数取最小值，代入上式得：
$${\hat{w}}^{\ast }=(X^{T}X{)}^{-1}{X}^{T}y$$