吃瓜教程——第三章

一、基本形式

给定由$d$个属性描述的示例中，$x=\left(x_1;x_2;\cdots ;x_d\right)$，其中$x_i$是$x$在第$i$个属性上的取值，线性模型表示为
$$f(x)=w_1{x}_1+w_2{x}_2+...+w_d{x}_d+b$$一般情况下用向量的形式，则表示成$$f\left(x\right)=w^{T}x+b$$只要能够确定出$w$和$b$的值就可以确定这个线性模型了

二、线性回归

问：线性回归是什么？
答：线性回归是通过学习一个线性模型，来预测出其对应的连续值，通过对预测值和真实值之间，尽可能缩小其欧氏距离，即使得$f\left(x_i\right)\approx y_i$

2.1 最小二乘法

使用均方误差最小化来进行模型求解的，形如
$$\begin{gathered} E_{\left(w,b\right)}=\sum _{i=1}^m{\left(y_i-f\left(x_i\right)\right)}^2 \\ =\sum _{i=1}^m{\left(y_i-w{x}_i-b\right)}^2 \end{gathered}$$

2.2 极大似然估计

假设线性回归模型如下所示，
$$y=wx+b+ϵ$$
其中$ϵ$符合$$p(ϵ)=\frac{1}{\sqrt{2\pi }\sigma }\exp \left(-\frac{{ϵ}^2}{2{\sigma }^2}\right)$$
然后将$ϵ$用$y-(wx+b)$进行代替后，得到的式子为
$$p(y)=\frac{1}{\sqrt{2\pi }\sigma }\exp \left(-\frac{(y-(wx+b){)}^2}{2{\sigma }^2}\right)$$
代入极大似然估计后，得到如下所示，
$$L(w,b)=\prod _{i=1}^{m}p\left(y_i\right)=\prod _{i=1}^m$$