伽马分布极大似然估计_线性回归详解：最小二乘法、梯度下降和极大似然估计...

线性回归

• 回归分析(regression analysis)用来建立方程模拟两

个或者多个变量之间如何关联

• 被预测的变量叫做：因变量(dependent variable),

输出(output)

• 被用来进行预测的变量叫做： 自变量(independent

variable), 输入(input)

• 一元线性回归包含一个自变量和一个因变量

• 以上两个变量的关系用一条直线来模拟

• 如果包含两个以上的自变量，则称作多元回归分析

(multiple regression)

ℎ = 0 + 1
方程对应的图像是一条直线，称作回归线。其中，
1为回归线的斜率， 0为回归线的截距。

求解方程
并不是我们随便作出一条回归线就行，我们需要作出一条使得真实值y都要紧密的在回归线边上，下面介绍几种方法看看怎么作出这个回归线。

1、最小二乘法

最小二乘法的思想非常简单， 通过最小化误差的平方和寻找数据的最佳函数匹配，即求所有观察值的残差平方和的最小值。当然OLS回归是要在一定条件下的：

• Y的平均值能够准确地被由X组成的线性函数建模出来。
• 解释变量之间不存在线性关系（或强相关）。
• 解释变量和随机扰动项不存在线性关系。