第八节 线性回归分析

第八节 线性回归分析

一元线性回归

影响关系类分析方法说明：
影响关系类的分析方法在实证研究类的论文中占据非常重要的地位。研究变量之间影响关系的分析方法主要包括了线性回归、非线性回归及结构方程模型。其中线性回归包括一元线性回归和多元线性回归，而非线性回归包括logistic回归和曲线回归等。影响关系类研究的分析方法包含很多种，而这些分析方法在分析思路上都是一致的。因此在课程里面我们重点讲述线性回归的流程。另外的分析方法我们都直将接进行案例的讲解。
在影响关系的学习上，最重要的是要掌握多元线性回归、结构方程模型以及二元logistic回归这三种分析方法。

线性回归分析介绍：
作用：回归分析是探索变量之间影响关系的重要分析方法，通过采集的数据分析并推断总体变量之间的影响关系，从而得出具有确定性关系的函数。利用此作用，在论文研究中回归分析通常用来对假设进行检验。

回归分析是用来探索变量之间影响关系的分析方法，但是为什么不叫影响关系分析，而称为“回归分析”？
英国统计学学家F.Galton在研究父亲身高和成年儿子身高关系时发现，由儿子身高和父亲身高数据构成的散点图其中有一条直线可以贯穿其中，而这条直线可以用来描述儿子身高和父亲身高之间的关系。父亲身高比较高的时候，儿子的身高也会比较高，父亲身高比较矮的时候，儿子的身高也会比较矮。成年儿子的身高会趋向于子辈身高的平均值，因此，贯穿散点图的这条直线就被命名为“回归线”。研究变量之间这种影响关系的分析方法就称之为回归分析。

回归分析的原理流程：

回归分析就是为了构建一条直线，而这条直线要能够自变量和因变量之间的关系。构建的过程是通过自变量和因变量的样本分布趋势进行参数的计算。需要通过四大步骤实现构建的流程。

回归方程：
样本模型：

估计模型：

样本模型是理论上的回归方程模型，也就是样本数据直接体现的结果，而估计模型是通过样本数据推断总体关系的回归模型，也是构建回归分析主要解决的方程。模型中的β代表的就是需要估计的参数。体现了变量之间影响的大小和方向。

构建回归方程理论的步骤：

在回归方程的构建流程中需要通过四大步骤实现：
1、计算参数：
采用最小二乘法的原理进行公式推导，最终得出了计算回归方程参数的方程：


最小二乘法的原理就是要让自变量和因变量组成的散点图各个点离构建的回归线的距离之和达到最小。通过一系列复杂的公式推导之后就得出来上述的两个公式用来计算回归方程里面的关键参数。
2、拟合优度检验：
在上一个步骤中，通过最小二乘法的原理得出来贯穿散点图的回归线。但是我们并不清楚这条直线能够拟合散点图的程度有多少，因此在第二个步骤中主要的目的就是为了检验直线的拟合程度，也可以理解为代表性。而评价拟合程度的指标就是调整后R方。

其中SSR为回归平方和，SST为总平方和。

3、线性关系的检验：
线性关系的检验主要验证自变量和因变量之间的关系是否是线性关系，也就是检验我们所构建的回归线是否是线性关系。

提出假设：H0:两个变量之间的线性关系不显著（β1=0），H1;两个变量之间的线性关系显著。

其中SSE=SST-SSR。

4、回归系数的检验：
回归系数的显著性检验主要是检验变量之间的影响关系是否成立。如果β1=0，说明得到的y就是一条横线，y的取值不会受到x取值的影响。就说明变量之间不存在影响关系。如果β1≠0，也不能简单的得出两个变量之间存在影响关系的结论。因此，需要在t分布上构建分布区间，采用检验方法检验影响关系是否显著。
提出假设：H0:两个变量之间的线性关系不显著（β1=0），H1;两个变量之间的影响关系显著（β1≠0）。
其中sβ1为标准差。由于这个指标计算过于复杂，因此不需要再详细的探究推导过程。

案例：

通过问卷的方式采集了某个地区320名公务员的数据，研究该地区公务员的组织支持感和职业幸福感之间是否存在某种确定性的影响关系。

H1:假设组织支持和职业幸福感之间为显著的正向影响关系。

R方与调整后的R方表示拟合程度

用来检验线性关系

线的朝向，升降趋势

多元线性回归

多元线性回归的分析流程和一元回归分析的流程是一模一样的。只是由于自变量数量的增加，计算公式变得更加复杂了而已。因此，关于原理的流程不再具体的进行说明。
案例：通过问卷的方式采集了某个地区320名公务员的数据，研究该地区公务员职业幸福感的影响因素。根据文献探讨的结果建立理论模型并且提出假设：

H1:组织支持对于职业幸福感之间为显著的正向影响关系。
H2:职业角色认同对于职业幸福感之间为显著的正向影响关系。

婚姻变量虚拟化处理方法，虚拟变量个数为原变量减一