相关和回归分析

标准化

正态分布（Normal distribution），也称“常态分布”，又名高斯分布（Gaussian distribution），最早由A.棣莫弗在求二项分布的渐近公式中得到。C.F.高斯在研究测量误差时从另一个角度导出了它。P.S.拉普拉斯和高斯研究了它的性质。是一个在数学、物理及工程等领域都非常重要的概率分布，在统计学的许多方面有着重大的影响力。
正态曲线呈钟型，两头低，中间高，左右对称因其曲线呈钟形，因此人们又经常称之为钟形曲线。

相关分析

协方差（Covariance）在概率论和统计学中用于衡量两个变量的总体误差。而方差是协方差的一种特殊情况，即当两个变量是相同的情况。
统计里最基本的概念就是样本的均值，方差，或者再加个标准差。首先我们给你一个含有n个样本的集合X={X1,…,Xn}，依次给出这些概念的公式描述：

均值描述的是样本集合的中间点，它告诉我们的信息是很有限的，而标准差给我们描述的则是样本集合的各个样本点到均值的距离之平均。
注：标准差描述的就是这种“散布度”。之所以除以n-1而不是除以n，是因为这样能使我们以较小的样本集更好的逼近总体的标准差，即统计上所谓的“无偏估计”。而方差则仅仅是标准差的平方。
我们应该注意到，标准差和方差一般是用来描述一维数据的，但现实生活我们常常遇到含有多维数据的数据集，我们可以仿照方差的定义，构造一种用来度量两个随机变量关系的统计量–协方差，来度量各个维度偏离其均值的程度：

对于一个二维矩阵，每一个因子都可以视为两个不同随机变量的关系，这正好和协方差矩阵多少有点牵连，因此数学家们就把协方差矩阵引入到了二维矩阵中，衡量各个变量之间的紧密程度（就是关系度啦）。根据协方差的性质，我们可以类似的推出协方差矩阵的性质：
1.协方差矩阵一定是个对称的方阵
2.协方差矩阵对角线上的因子其实就是变量的方差：cov(X,X)=var(X)
我们可以举一个简单的三变量的例子，假设数据集有{x,y,z}{x,y,z}三个维度，则协方差矩阵为：

可以看出，协方差矩阵是一个对称的矩阵，而且对角线是各个变量上的方差。
相关系数：
相关系数是用以反映变量之间相关关系密切程度的统计指标。一般情况下，相关系数的公式为：

就是用X、Y的协方差除以X的标准差和Y的标准差。 所以，相关系数也可以看成协方差：一种剔除了两个变量量纲影响、标准化后的特殊协方差。
性质：1、可以反映两个变量变化时是同向还是反向，如果同向变化就为正，反向变化就为负。
2、由于它是标准化后的协方差，消除了两个变量变化幅度的影响，而只是单纯反应两个变量每单位变化时的相似程度。

相关性的显著性检验：

在对实际现象进行分析时，往往是利用样本数据计算相关系数作为总体相关系数的估计值，但由于样本相关系数具有一定的随机性，就会产生虚假相关现象。为判断样本相关系数对总体相关程度的代表性，需要对相关系数进行显著性检验。若在统计上是显著的，说明它可以作为总体相关程度的代表值，否则不能作为总体相关程度的代表值。
显著性检验原理就是“小概率事件实际不可能性原理”来接受或否定假设。
原假设：变量间不相关，即总体的相关系数为0。

回归分析

拟合优度（Goodness of Fit）是指回归直线对观测值的拟合程度。度量拟合优度的统计量是可决系数（亦称确定系数）R²。R²最大值为1。R²的值越接近1，说明回归直线对观测值的拟合程度越好；反之，R²的值越小，说明回归直线对观测值的拟合程度越差。
R²等于回归平方和在总平方和中所占的比率，即回归方程所能解释的因变量变异性的百分比
其中总平方和：

在回归方程中表示自变量x 对因变量y 影响大小的参数.
　　回归系数越大表示x 对y 影响越大,正回归系数表示y 随x 增大而增大,负回归系数表示y 随x 增大而减小.
　　回归方程式^Y=bX+a中之斜率b,称为回归系数,表X每变动一单位,平均而言,Y将变动b单位.
系数检验：
原假设：自变量对因变量没有影响，即回归系数为0
构造统计量：