【机器学习】2.线性模型

基本形式

给定有d个属性描述的示例$x=(x_1,x_2,\cdots ,x_d)$通过属性的线性组合来进行预测的函数
$$f(x)=w_1{x}_1+w_2{x}_2+\cdots +w_d{x}_d+b$$
一般向量形式写成
$$f(x)=w^{T}x+b$$

线性回归

试图学得一个线性模型以尽可能准确地预测实值输出标记
对于离散数据，如属性值之间存在‘序’的关系，则将他们转为连续值，eg：二值属性身高的高矮可转为{1，0}，若不存在序的关系，则转为K维向量，eg：属性瓜类的取值‘西瓜’，‘南瓜’和‘黄瓜’可转为（1，0，0），（0，1，0）和（0，0，1）

线性回归试图$f(x)=w^{T}x+b$ 使得$f(x_i)\approx y_i$
使用均方误差作为性能度量
$$(w,b)=argmi{n}_{w,b}\sum _{i=1}^m(f(x_i)-y_i{)}^2$$
$$.............=argmi{n}_{w,b}\sum _{i=1}^m(y_i-w{x}_i-b{)}^2$$
求解w，b使得$E(w,b)={\sum }_{i=1}^m(y_i-w{x}_i-b{)}^2$最小，分别进行求导。
$$\frac{\partial E(w,b)}{\partial w}=2(w\sum _{i=1}^m(x_i{)}^2-\sum _{i=1}^m{x}_i(y_i-b))$$
$$\frac{\partial E(w,b)}{\partial b}=2(mb-\sum _{i=1}^m(y_i-w{x}_i))$$
令求导均等于零，求解最优w，b的解
$$w=\frac{{\sum }_{i=1}^m{y}_i(x^i-\overline{x})}{{\sum }_{i=1}^m{x}_i^2-\frac{1}{m}({\sum }_{i=1}^m{x}_i^2{)}^2}$$
$$b=\frac{1}{m}\sum _{i=1}^m(y_i-w{x}_i)$$
其中 $\frac{1}{m}{\sum }_{i=1}^m{x}_i=\overline{x}$

对于多元线性回归， $f(x_i)=w^T{x}_i+b$ ，令 w = （w，b） x=（x，1）
即
$$x=\left(\begin{array}{cc}{x}_1^T& 1\\ x_2^T& 1\\ .& .\\ .& .\\ .& .\\ x_m^T& 1\end{array}\right)$$
$$y=(y_1,y_2,y_3,...,y_m)$$
$$w=argmi{n}_w(y-xw{)}^T(y-xw)$$
$E_w=(y-xw{)}^T(y-xw)$对w求导
$$\frac{\partial E}{\partial w}=2x^T(xw-y)=0$$
$$\Rightarrow 2x^{T}xw=2x^{T}y$$
$$\Rightarrow w=(x^{T}x{)}^{-1}{x}^{T}y$$

对数线性回归
$$\ln y=w^{T}x+b$$
广义线性模型 g(.)单调可微函数
y = g − 1