参数估计杂谈

回归方程参数估计杂谈

在正文开始之前首先谈谈何为回归，现代意义上的回归，是研究因变量对自变量的依赖关系的一种统计分析方法，目的是通过自变量的给定值来估计或预测因变量的均值。它可用于预测、时间序列建模以及发现各种变量之间的因果关系。简单地说，回归就是去分析因变量与自变量之间的关系，从而为分析数据、预测数据提供科学的、合理的方法。根据模型中变量的个数可以分为一元回归模型和多元回归模型，根据模型是否为线性可分为线性模型和非线性模型，根据模型中变量的随机性亦可分为固定效应模型、随机效应模型和混合效应模型（亦可称联合模型）。而为了获得回归模型最重要的一步就是对模型的参数进行估计，下面介绍一下参数估计都哪些？

常用回归方程的参数估计方法

1、最小二乘估计

最小二乘法具有很多好的性质，其中最重要的性质便是Gauss-Markov定理，该定理表明：在一切线性无偏估计类中最小二乘估计具有方差最小性

2、广义最小二乘估计

随机误差项之间存在自相关性，即误差项方差不等或彼此之间存在相关性

3、逻辑回归

4、岭估计

5、主成分估计

6、偏最小二乘估计

变量之间存在多重共线性

*未完待续~~~~~*
[1]: http://meta.math.stackexchange.com/questions/5020/mathjax-basic-tutorial-and-quick-reference
[2]: https://mermaidjs.github.io/
[3]: https://mermaidjs.github.io/
[4]: http://adrai.github.io/flowchart.js/