机器学习——重新认识线性回归模型

1. 线性回归模型中所需数学知识储备

1.1 均方误差

• 方差是用来描述真实值偏离均值的程度
• 均方误差是误差平方和的平均数，用来描述测量值与真实值的误差程度

1.2 凸函数

此处的凸函数强调的是来自最优化理论中的概念，不同于高数书中的凸函数的概念（两者表示的东西是相反的）。
机器学习中的凸函数概念：对区间[a,b]上定义的函数 f，若它对区间中任意两点X1,X2均有 f((X1+X2)/2) <= ( f(X1) + f(X2) ) / 2 ,则称 f 为区间[a,b]上的凸函数。

凸函数的作用是当求解关于w的最优解时，令关于w的一阶导数为0即可求得。
凸函数的证明，即函数所在区间上的二阶导数为非负函数便是凸函数。

1.3 极大似然估计

极大似然估计，就是利用已知的样本结果信息，反推最具有可能（最大概率）导致这些样本结果出现的模型参数值。图示为极大似然估计函数