回归有多种形式。下面主要介绍普通最小二乘(OLS)回归法,包括简单线性回归、多项式回归、多元线性回归以及交互性回归。
最小二乘法OLS的主要运算符
条件:减小因变量的真实值与预测值的差值来获取模型参数,即残差平方和最小。
为了能够恰当地解释OLS模型的系数,数据必须满足以下统计假设:
(1)正态性。对于固定的自变量值,因变量值成正态分布
(2)独立性。Yi值之间相互独立。
(3)线性。因变量与自变量之间为线性相关。
(4)同方差性。因变量的方差不随自变量的水平不同而变化。
在R中,拟合回归模型最基本的函数是lm(),格式为:
lm(formula, data)
formula中的符号注释:
符号 | 意义 |
---|---|
~ 分割符 | 左边为因变量,右边为自变量,例如, z~x+y ,表示通过x和y来预测z |
+ | 表示分割预测变量 |
: | 表示预测变量的交互项,例如,z~x+y+x:y |
* | 表示所有可能的交互项,例如,z~x*y 展开为 z~x+y+x:y;代码y~ x * z * w 可展开为y ~ x + z + w + x:z + x:w + z:w +x:z:w |
^ | 表示交互项的次数,例如,z ~ (x+y)^2 ,展开为z~x+y+x:y;代码y ~ (x + z + w)^2 可展开为y ~ x + z + w + x:z + x:w + z:w |
. | 表示包含除因变量之外的所有变量,例如,如果只有三个变量x,y和z,那么代码 z~. ,展开为z~x+y+x:y |
- | 表示从等式中移除某个变量。例如,y ~ (x + z + w)^2 – x:w 可展开为y ~ x + z + w +x |