《西瓜书》+《南瓜书》第三章笔记（Datawhale）(未完成..)

第三章 线性模型

3.1基本形式

d个属性描述示例$x=(x_1,x_2,...x_d)$其中$x_i$是$x$在第$i$个属性取值。
线性模型（linear model）通过属性的线性组合预测函数
$$f(x)=w_1{x}_1+w_2{x}_2+...+w_d{x}_d+b\text{\hspace{1em}(3.1)}$$
转化成转化成向量形式
$$f(x)=w^T+b\text{\hspace{1em}(3.2)}$$
其中$w^T$中的$T$表示“将向量取转置,一般线性代数中指的向量为列向量,取了转置后就是行向量.”PS：具体作用以及意义后续待完善…（主要是不记得了…）
其中$w=（w_1,w_2,...w_d）$
最终$w,b$学得后，模型确定。

线性模型有很好的解释性，更多非线性模型可在线性模型基础上引入层级结构或高维映射可得。

3.2线性回归

数据集 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x m , y m ) } D=\{(x_1,y_1),(x_2,y_2), ...,(x_m,y_m)\} D={(x1​,y1​),(x2​,y2​),...,(xm​,ym​)},其中$x_i=(x_{i1};x_{i2};...;x_{id}),y_i\in R$
转化为 D = { ( x i , y i ) } i = 1 m D= \{(x_i,y_i)\}^m_{i=1} D={(xi​,yi​)}i=1m​,其中$x_i\in R$

有序关系：连续转化为连续值，如高矮 { 1 , 0 } \{1,0\} {1,0};高中低 { 1 , 0.5 , 0 } \{1,0.5,0\} {1,0.5,0}
不存在有序关系：$k$个属性值，$k$维向量，如“西瓜”“黄瓜”“南瓜”，转为向量
$$(0,0,1)(0,1,0)(1,0,0)$$

线性回归试图学得：
$$f(x_i)=w{x}_i+b,最终使得f(x_i)\approx y_i\text{\hspace{1em}(3.3)}$$

最终问题变为如何求得$w,b$,使得$f(x_i)\approx y_i$
$$\begin{gathered} (w^{\ast },b^{\ast })=\underset{(w,b)}{\mathrm{argmin}}\sum _{i=1}^m(f(x_i)-y_i{)}^2 \\ =\underset{(w,b)}{\mathrm{argmin}}\sum _{i=1}^m(y_i-w{x}_i-b{)}^2\text{\hspace{1em}(3.4)} \end{gathered}$$
通过最小二乘法进行线性回归、拟合，计算欧式距离，使得均方差最小化。
$$E(w,b)=\sum _{i=1}^m(y_i-w{x}_i-b{)}^2$$

求解$w$和$b$使得$E(w,b)$最小化的过程，称为线性回归模型的最小二乘参数估计（parameter estimation）。将$E(w,b)$对$w$和$b$求导可得：

$$\frac{\partial E(w,b)}{\partial w}=2(w\sum _{i=1}^m{x}_i^2-\sum _{i=1}^m(y_i-b)x_i)\text{\hspace{1em}(3.5)}$$
$$\frac{\partial E(w,b)}{\partial b}=2(mb-\sum _{i=1}^m(y_i-w{x}_i))\text{\hspace{1em}(3.6)}$$
令（3.5），（3.6）为零求最优解得：
$$w=\frac{{\sum }_{i=1}^m{y}_i(x_i-\overline{x})}{{\sum }_{i=1}^m{x}^2-\frac{1}{m}({\sum }_{i=1}^{m}x{)}^2}\text{\hspace{1em}(3.7)}$$
其中$\overline{x}=\frac{1}{m}{\sum }_{i=1}^m{x}_i$
$$b=\frac{1}{m}\sum _{i=1}^m(y_i-w{x}_i)\text{\hspace{1em}(3.8)}$$