【浅谈系列】浅谈线性回归

一元线性回归

算法原理

最小二乘估计

基于均方误差最小化来进行模型求解的方法称为“最小二乘法”

极大似然估计

原理：已知模型（或样本）的当前结果，反推最有可能（即最大概率）导致这样结果的参数值；

用途：估计概率分布的参数值；

方法：对于离散型（或连续型）随机变量X，假设其概率质量函数为(或概率密度函数)，其中为待估计的参数值。现有是来自X的n个独立同分布的样本，他们的联合概率为：

其中是已知量，为未知量，因此以上概率是一个关于的函数，称为为样本的似然函数。

极大似然函数的直观想法：使得观测样本出现概率最大的分布就是待求分布，也即使得联合概率（似然函数）取到最大值的即为的估计值。

 极大似然估计-线性回归

         对于线性回归来说，可假设其为以下模型：

        其中为不受控制的随机误差，通常假设其服从均值为0的正态分布，所以的概率密度函数为：

        若将用等价替换可得：