机器学习算法之线性模型

1.线性方程与非线性方程

线性方程：代数方程如y = 2x + 5,其中任何一个变量都为1次幂，这种方程的图像为一条直线(平面)，所以称为线性方程

非线性方程：y**2 = 2x + 5,因变量和自变量之间不是线性关系，如平方关系、对数关系、指数关系和三角函数关系等

2.基本形式

给定有m个属性描述的实例x=(x1,x2...,xm),其中xi是x在第i个属性上的取值，线性模型(linear model)试图学得一个通过属性组合的线性组合来进行预测的函数，即

                                               f(x) = w1*x1 + w2*x2 +...+ wm*xm + b

线性模型形式简单、易于建模，但却蕴涵着机器学习中一些重要的基本思想。许多功能更为强大的非线性模型可以在线性模型的基础上通过引入层级结构或高维映射而得。

3.线性回归

线性模型试图学得f(x) = w*x + b,使得f(x)约等于y,如何确定w和b呢？这是一个组合问题，已知一些数据，如何求里面的未知参数，给出一个最优解。这是一个线性矩阵方程，直接求解很可能无法求解，有唯一解的数据集更是微乎其微，基本上都是解不存在的超定方程组。在这种情况下，我们将参数求解问题转化为误差最小化问题，求出一个最接近的解，这就是一个松弛求解。

均方误差作为回归任务中最常用的性能度量，因此我们可以试图让均方误差最小化，即

基于均方误差最小化来进行线性模型的求解方法称为“最小二乘法”。在线性回归中，最小二乘法就是试图找到一条直线，使所有样本到直线上的欧式距离之和最小。求解w和b使均方