机器学习算法梳理1-线性回归

机器学习算法-线性回归

一、相关理论基础

1.1 凸函数

某个向量空间的凸子集（区间）上的实值函数，如果在其定义域上的任意两点 ，有 f(tx + (1-t)y) <= tf(x) + (1-t)f(y)，则称其为该区间上的凸函数；

1.2 线性

线性并不等于直线。线性函数的定义是：一阶（或更低阶）多项式，或零多项式。当线性函数只有一个自变量时，y = f(x)；

如果有多个独立自变量,表示为：

                                                                           

总结: 特征是一维的，线性模型在二维空间构成一条直线；特征是二维的，线性模型在三维空间中构成一个平面；若特征是三维的，则最终模型在四维空间中构成一个体；以此类推……

1.3 极大似然估计

定义：从样本中随机抽取n个样本，而模型的参数估计量使得抽取的这n个样本的观测值的概率最大。最大似然估计是一个统计方法，它用来求一个样本集的概率密度函数的参数。

二、线性回归

定义：

回归在数学上来说是给定一个点集，就能够用一条曲线去拟合之。如果这个曲线是一条直线（超平面），那就被称为线性回归。若不是一条直线则称为非线性回归，常见有多项式回归、逻辑回归等。

线性模型优劣：

优点：结果易于理解，计算上不复杂；

缺点：对非线性的数据拟合不好；

2.1 线性回归模型

一般线性模型表示：

                                                                               

其中，等表示不同的特征，，