机器学习第三章：线性模型

机器学习 第三章：线性模型

1.基本形式

给定的由d个属性描述的示例x={x1,x2,…xd},(xi是x在第i个属性上的取值)，线性模型试图学得一个通过属性的线性组合来进行预测的函数：
$$f(x)=w1x1+w2x2+...wdxd+b$$
例如在西瓜问题中学得：
$$f好瓜(x)=0.2\cdot x色泽+0.5\cdot x根蒂+0.3\cdot x敲声+1$$
综合考虑色泽、根蒂、敲声来判断瓜好不好，其中根蒂最要紧，敲声比色泽更重要。

2.线性回归

对于离散属性：
若属性值间存在‘序’的关系，可通过连续化将其转化为连续值，例如：属性“身高”的取值‘高’ ‘矮’可转化为{1，0}
若属性值间不存在‘序’的关系，假定由k个属性值，则通常转化为k维向量，例如：属性“瓜类”的取值‘西瓜’ ‘南瓜’ ‘黄瓜’（对于不同颜色的瓜，我们不能说西瓜比南瓜好，三者是平等的关系）可转化为（0，0，1），（0，1，0），（1，0，0）

均方误差是回归任务种最常用的性能度量，它对应了常用的‘欧式距离’。基于均方误差最小化来进行模型求解的方法称为“最小二乘法”。在线性回归中，最小二乘法就是试图找到一条直线，使所有样本到直线的欧式距离之和最小（即图中蓝色线段总和最小），即求解w,b使
$$E\left(w,b\right)=\sum _{i=1}^m{\left(y_i-w{x}_i-b\right)}^2$$
最小化的过程。
可以通过使偏导等于0的方法求得
$$w=\frac{{\sum }_{i=1}^{m}y\left(x_i-\overline{x}\right)}{{\sum }_{i=1}^{m}x{i}^2-\frac{1}{n}{\left({\sum }_{i=1}^m{x}_i\right)}^2}$$
$$b=\frac{1}{m}\sum _{i=1}^m\left(yi-w{x}_i\right)$$
对于更一般的情形，样本由d个属性来描述，此时称为“多元回归线性模型”，为便于讨论，记：
$$\hat{w}=\left(w;b\right)$$
$$X=[\begin{array}{cc}& \\ x_{11}& x_{12}\dots \\ x_{21}& x_{22}\dots \\ ⋮& \\ x_{m1}& \end{array}$$