数模学习(五)---相关系数

Abstract

这节将介绍两种最为常用的相关系数:皮尔逊pearson相关系数斯皮尔曼spearman等级相关系数。它们可以用来衡量两个变量之间的相关性的大小,而根据数据满足的不同条件,我们需要选择不同的相关系数进行计算和分析(建模论文中最容易雍错的方法)。
在这里,我们需要引入总体和样本这两个概念

  • 总体: 所要考察对象的全部个体叫做总体—在观察总体数据的时候,我们总是期望找到一些总体的特征(如均值方差等)
  • 样本: 从总体中所抽取的一部分个体则叫做总体的一个样本
    而我们通常对总体和样本进行数据处理的目的是–计算这些抽取的样本的统计量来估计总体的统计量:
    例如使用样本均值、样本标准差来估计总体的均值(平均水平)和总体的标准差(偏离程度)

举个栗子:

  • 10年一次的人口普查得到的数据就是总体数据
  • 数模比赛找同学填问卷就是样本数据

一 皮尔逊Pearson相关系数

1.1 Intro

概率论中数理统计部分提到过:
对于两组数据: X : X 1 , X 2 , . . . , X n X:{X_{1},X_{2},...,X_{n}} X:X1,X2,...,Xn Y : Y 1 , Y 2 , . . . , Y n Y:{Y_{1},Y_{2},...,Y_{n}} Y:Y1,Y2,...,Yn是总体数据
那 么 总 体 均 值 为 : E ( X ) = ∑ i = 1 n X i n , E ( Y ) = ∑ i = 1 n Y i n 总 体 协 方 差 为 : C o v ( X , Y ) = ∑ i = 1 n ( X i − E ( X ) ) ( Y i − E ( Y ) ) n 那么总体均值为:E(X) = \frac{\sum\limits_{i=1}^{n}X_{i}}{n},E(Y) = \frac{\sum\limits_{i=1}^{n}Y_{i}}{n} \\ 总体协方差为:Cov(X,Y) = \frac{\sum\limits_{i=1}^{n}(X_{i}-E(X))(Y_{i}-E(Y))}{n} E(X)=ni=1nXi,E(Y)=ni=1nYiCov(X,Y)=ni=1n(XiE(X))(YiE(Y))

  • 理解协方差: 如果 X 、 Y X、Y XY变化方向相同,即当 X X X大于(小于)其均值时, Y Y Y也大于(小于)其均值,在这两种情况下,乘积为正。如果 X 、 Y X、Y XY的变化方向一直保持相同,则协方差为正;同理,如果 X 、 Y X、Y XY变化方向一直相反,则协方差为负;如果 X 、 Y X、Y XY变化方向之间相互无规律,即分子中有的项为正,有的项为负,那么累加后正负抵消
  • 注意: 协方差的大小和两个变量的量纲有关,因此不适合作比较

1.2 计算总体Pearson相关系数

总 体 P e a r s o n 相 关 系 数 : ρ X Y = C o v ( X , Y ) σ X σ Y = ∑ i = 1 n ( X i − E ( X ) ) σ X ( Y i − E ( Y ) ) σ Y n σ X 是 X 的 标 准 差 , σ X = ∑ i = 1 n ( X i − E ( X ) ) 2 n , σ Y = ∑ i = 1 n ( Y i − E ( Y ) ) 2 n 可 以 证 明 , ∣ ρ X Y ∣ ≤ 1 , 且 当 Y = a X + b 时 , ρ X Y = { 1 , a > 0 − 1 , a < 0 {\color{red}总体Pearson相关系数:\rho_{XY}=\frac{Cov(X,Y)}{\sigma_{X}\sigma_{Y}}=} \frac{\sum\limits_{i=1}^{n} \frac{(X_{i}-E(X))}{\sigma_{X}}\frac{(Y_{i} - E(Y))}{\sigma_{Y}} }{n} \\ \sigma_{X}是X的标准差,\sigma_{X} = \sqrt{ \frac{\sum\limits_{i=1}^{n}(X_{i}-E(X))^2}{n} }, \sigma_{Y} = \sqrt{ \frac{\sum\limits_{i=1}^{n}(Y_{i}-E(Y))^2}{n} } \\ {\color{red}可以证明,\vert \rho_{XY}\vert\leq 1,且当Y = aX +b时,\rho_{XY}= \left\{ \begin{aligned} 1&,&a>0 \\ -1&,&a<0 \end{aligned} \right. } PearsonρXY=σXσYCov(X,

  • 1
    点赞
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值