统计学学习（4） 线性回归，卡方分布，方差分析

线性回归
1. 什么是回归分析
回归分析（regression analysis）指的是确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。回归分析按照涉及的变量的多少，分为一元回归和多元回归分析；按照因变量的多少，可分为简单回归分析和多重回归分析；按照自变量和因变量之间的关系类型，可分为线性回归分析和非线性回归分析。
2. 一元线性回归
回归分析只涉及到两个变量的，称一元回归分析。一元回归的主要任务是从两个相关变量中的一个变量去估计另一个变量，被估计的变量，称因变量，可设为Y；估计出的变量，称自变量，设为X。回归分析就是要找出一个数学模型Y=f(X)，使得从X估计Y可以用一个函数式去计算。当Y=f(X)的形式是一个直线方程时，称为一元线性回归。这个方程一般可表示为Y=A+BX。根据最小平方法或其他方法，可以从样本数据确定常数项A与回归系数B的值。A、B确定后，有一个X的观测值，就可得到一个Y的估计值。
3. 一元线性回归方程（y=ax+b）的两个参数:a和b计算
下面公式是经过推导得到的，具体推导过程可参考其他blog


4.协方差
协方差（Covariance）在概率论和统计学中用于衡量两个变量的总体误差。而方差是协方差的一种特殊情况，即当两个变量是相同的情况。协方差表示的是两个变量的总体的误差，这与只表示一个变量误差的方差不同。 如果两个变量的变化趋势一致，也就是说如果其中一个大于自身的期望值，另外一个也大于自身的期望值，那么两个变量之间的协方差就是正值。 如果两个变量的变化趋势相反，即其中一个大于自身的期望值，另外一个却小于自身的期望值，那么两个变量之间的协方差就是负值。
期望值分别为E[X]与E[Y]的两个实随机变量X与Y之间的协方差Cov(X,Y)定义为：

5.回归平方和，残差平方和，总离差平方和
总离差平方和：SST 即样本数据中实际值与均值的差的平方和；
残差平方和：SSE 即实际值与估计值之差的平方的总和;
回归平方和：SSR 即估计值和均值之差的平方的总和.
三者之间的关系是：SSR + SSE = SST
6.拟合优度
拟合优度，又称决定系数，反应了y的波动有多少百分比能被x的波动所描述，即表征依变数Y的变异中有多少百分比,可由控制的自变数X来解释。
表达公式：R2=1-(SSE/SST)=(SSR/SST)

卡方分布
1.定义
若n个相互独立的随机变量ξ₁，ξ₂，…,ξn ，均服从标准正态分布（也称独立同分布于标准正态分布），则这n个服从标准正态分布的随机变量的平方和构成一新的随机变量，其分布规律称为卡方分布。

从卡方分布图可以看出：分布在第一象限内，卡方值都是正值，呈正偏态（右偏态），随着参数 n 的增大，分布趋近于正态分布；随着自由度n的增大，分布向正无穷方向延伸（因为均值n越来越大），分布曲线也越来越低阔（因为方差2n越来越大）。
2.卡方分布的期望与方差
卡方分布：
期望E（χ2）= n，
方差D(χ2) = 2n

方差分析
1.定义
方差分析(Analysis of Variance，简称ANOVA)，又称“变异数分析”，是R.A.Fisher发明的，用于两个及两个以上样本均数差别的显著性检验。 由于各种因素的影响，研究所得的数据呈现波动状。造成波动的原因可分成两类，一是不可控的随机因素，另一是研究中施加的对结果形成影响的可控因素。【来源：百度百科】
2.原理
方差分析的原理就一个方程：
SST=SSM+SSE (全部平方和=模型平方和+误差平方和) 和线性回归的拟合优度很像，但具体到统计量又有区别。
方差分析看的最终结果看的统计量是：F统计量、R2。
F=[SSM/(S-1)]/[SSE/(N-S)] S水平个数，S-1模型只有度，N-S误差自由度。
R2=SSM/SST
3.计算步骤
方差分析步骤：
①建立原假设和备泽假设，原假设为：不同水平对应均值相等；备择假设为：不同水平对应均值不等
②给定那个显著水平α，默认0.05；
③计算F统计量的F0值（F0=误差自由度/模型自由度）。
方差假设条件为残差服从正态分布，其条件等价于：
①每组观测服从正态分布（观测数目足够多就认为正态分布）；
即每个的样本的分布符合正态分布
②方差齐性；
不同样本的总体方差相同
③数据之间独立。
即样本之间相互独立