协方差:
衡量两个样本之间的相关性
残差:
观测值与预测值(拟合值)之间的差,即是实际观察值与回归估计值的差.
随机误差项:
在总体回归参数PRF中,我们把个别的Yi围绕在它的期望值的离差(deviation)表述为:Ui=Yi-E(Y|Xi).其中离差Ui是一个不可观测的可正可负的随机变量,在专业术语中,把Ui称为随机干扰或随机误差项。因而,干扰项是从模型中省略下拉的而又集体地影响着Y的全部变量的替代物。
异方差:
经典线性回归模型的一个重要假定:总体回归函数中的随机误差项满足同方差性(服从均值为0,方差相同的正态分布)们都有相同的方差,随机误差项具有不同的方差,则称线性回归模型存在异方差性。
对于不同的样本点,随机误差项的方差各不相同,表现为 随机误差项的协方差矩阵的对角线元素不完全相同
异方差的修正—加权最小二乘法
加权最小二乘法是对原模型加权,使之变成一个新的不存在异方差性的模型,然后采用OLS估计其参数,
对较小的残差平方赋予较大的权重,对焦大的残差平方赋予较小的权重。
一种可行的方法:对原模型进行OLS估计,得到随机误差项的近似估计量 ,以此构成权矩阵的估计量
参考: