![50c43fbb2fc8e79c500f6418a0397c16.gif](https://i-blog.csdnimg.cn/blog_migrate/6185743c2def26a842696ccda747194a.gif)
![f14d671ccfd356d67a9e9a0446320562.gif](https://i-blog.csdnimg.cn/blog_migrate/551a6bdda536e8c7f33df04a93e4742d.gif)
在我们的工作中,会有一个这样的场景,有若干数据罗列在我们的面前,这组数据相互之间可能会存在一些联系,可能是此增彼涨,或者是负相关,也可能是没有关联,那么我们就需要一种能把这种关联性定量的工具来对数据进行分析,从而给我们的决策提供支持,本文即介绍如何使用 Python 进行数据相关性分析。
关键词 python 方差 协方差 相关系数 离散度 pandas numpy
![8b774ee91b0dab4ddf02968fc882b8fa.png](https://i-blog.csdnimg.cn/blog_migrate/9afc43b27cff03fe8c0f2daa22d609f9.png)
![8b774ee91b0dab4ddf02968fc882b8fa.png](https://i-blog.csdnimg.cn/blog_migrate/9afc43b27cff03fe8c0f2daa22d609f9.png)
接下来,我们将使用 Anaconda 的 ipython 来演示如何使用 Python 数据相关性分析,我所使用的 Python 版本为 3.6.2 。
首先,我们将会创建两个数组,数组内含有 20 个数据,均为 [0, 100] 区间内随机生成。
a = [random.randint(0, 100) for a in range(20)]
b = [random.randint(0, 100) for a in range(20)]
print(a)
>> [35, 2, 75, 72, 55, 77, 69, 83, 3, 46, 31, 91, 72, 12, 15, 20, 39, 18, 57, 49]
print(b)
>> [25, 24, 72, 91, 27, 44, 85, 21, 0, 64, 44, 31, 6, 91, 1, 61, 5, 39, 24, 43
![8b774ee91b0dab4ddf02968fc882b8fa.png](https://i-blog.csdnimg.cn/blog_migrate/9afc43b27cff03fe8c0f2daa22d609f9.png)
![8b774ee91b0dab4ddf02968fc882b8fa.png](https://i-blog.csdnimg.cn/blog_migrate/9afc43b27cff03fe8c0f2daa22d609f9.png)
在进行相关性分析之前,我们需要先为最终的计算分析做好准备。我们在分析前,第一个准备的是计算数据的期望。对于期望的定义,离散变量和连续变量是不一样的,具体定义如下:
- 对于连续随机变量
- 在离散随机变量
![430b8166332687548ed1541f6f64c978.png](https://i-blog.csdnimg.cn/blog_migrate/5c755cc591ae08306a41729ea760a146.jpeg)
在一般情况下,我们通过实验或者调查统计获取的数据很大一部分都属于离散随机变量,那么这里的期望我们也可以简单的理解为平均数,那么既然是平均数,那么我们就可以非常简单编写一个计算离散变量的期望的函数了。
def mean(x):
return sum(x) / len(x)
mean(a)
>> 46.05
mean(b)
>> 39.9
![8b774ee91b0dab4ddf02968fc882b8fa.png](https://i-blog.csdnimg.cn/blog_migrate/9afc43b27cff03fe8c0f2daa22d609f9.png)
![8b774ee91b0dab4ddf02968fc882b8fa.png](https://i-blog.csdnimg.cn/blog_migrate/9afc43b27cff03fe8c0f2daa22d609f9.png)
对于连续随机变量
![47793850c5450f6b8f3b0c2db272c775.png](https://i-blog.csdnimg.cn/blog_migrate/486c2a9389977a5141ec886a939abfde.jpeg)
![e1f0b8012892df1ac5d3546bc2015e1b.png](https://i-blog.csdnimg.cn/blog_migrate/621d49a56dfcb41be3c6c93da2fcbbf0.jpeg)
对于离散随机变量
![6b6616f5aa4e8fc7bb3f6f29fb0eb5dd.png](https://i-blog.csdnimg.cn/blog_migrate/8250271c822d8a76547f8ac6c036681a.jpeg)
# 计算每一项数据与均值的差
def de_mean(x):
x_bar = mean(x)
return [x_i - x_bar for x_i in x]
# 辅助计算函数 dot product 、sum_of_squares
def dot(v, w):
return sum(v_i * w_i for v_i, w_i in zip(v, w))
def sum_of_squares(v):
return dot(v, v)
# 方差
def variance(x):
n = len(x)
deviations = de_mean(x)
return sum_of_squares(deviations) / (n - 1)
# 标准差
import math
def standard_deviation(x):
return math.sqrt(variance(x))
variance(a)
>> 791.8394736842105
varance(b)
>> 850.5157894736841
![8b774ee91b0dab4ddf02968fc882b8fa.png](https://i-blog.csdnimg.cn/blog_migrate/9afc43b27cff03fe8c0f2daa22d609f9.png)
![8b774ee91b0dab4ddf02968fc882b8fa.png](https://i-blog.csdnimg.cn/blog_migrate/9afc43b27cff03fe8c0f2daa22d609f9.png)
协方差
![edd0473f0cdaf12e9fb178f52854320e.png](https://i-blog.csdnimg.cn/blog_migrate/3998ef84d3a6f048ff5d291f157c8cce.jpeg)
相关系数
![c533e77615c7524bdb5899437f1a76eb.png](https://i-blog.csdnimg.cn/blog_migrate/7d40f75856f36bbc78765d7e76b58b94.jpeg)
# 协方差
def covariance(x, y):
n = len(x)
return dot(de_mean(x), de_mean(y)) / (n -1)
# 相关系数
def correlation(x, y):
stdev_x = standard_deviation(x)
stdev_y = standard_deviation(y)
if stdev_x > 0 and stdev_y > 0:
return covariance(x, y) / stdev_x / stdev_y
else:
return 0
covariance(a, b)
>> 150.95263157894735
correlation(a, b)
>> 0.18394200852440826
根据上面的结果,相关系数为 0.18,可以推断这两组随机数有弱正相关。当然,我们知道,这两组数据都是使用 random 函数随机生成出来的,其实并没有什么相关性,这也是在数据处理中,需要特别留意的一个地方,统计的方法可以给我们一个定量的数值可供分析,但实际的分析也需要结合实际以及更多的情况综合考虑。
![8b774ee91b0dab4ddf02968fc882b8fa.png](https://i-blog.csdnimg.cn/blog_migrate/9afc43b27cff03fe8c0f2daa22d609f9.png)
![8b774ee91b0dab4ddf02968fc882b8fa.png](https://i-blog.csdnimg.cn/blog_migrate/9afc43b27cff03fe8c0f2daa22d609f9.png)
import numpy as np
# 先构造一个矩阵
ab = np.array([a, b])
# 计算协方差矩阵
np.cov(ab)
>> array([[ 791.83947368, 150.95263158],
[ 150.95263158, 850.51578947]])
这里我们可以看到,这里使用 np.cov 函数,输出的结果是一个矩阵,这就是协方差矩阵。协方差矩阵数据的看法也不难,我们可以以上面的结果为例,矩阵1行1列,表示的是 a 数据的方差,这和我们上面的计算结果一致,然后1行2列和2行1列分别是 a b 以及 b a 的协方差,所以他们的值是一样的,然后最后2行2列就是 b 数据的方差。
接下来,我们继续使用 numpy 计算相关系数
np.corrcoef(ab)
>> array([[ 1. , 0.18394201],
[ 0.18394201, 1. ]])
计算相关系数,我们使用 numpy 的 corrcoef 函数,这里的输出也是一个矩阵,这个矩阵数据的含义同上面的协方差类似,我们可以看到,这里我们的相关系数是 0.18 ,和我们上面自己编写的函数计算的结果一致。
![8b774ee91b0dab4ddf02968fc882b8fa.png](https://i-blog.csdnimg.cn/blog_migrate/9afc43b27cff03fe8c0f2daa22d609f9.png)
![8b774ee91b0dab4ddf02968fc882b8fa.png](https://i-blog.csdnimg.cn/blog_migrate/9afc43b27cff03fe8c0f2daa22d609f9.png)
import pandas as pd
# 使用 DataFrame 作为数据结构,为方便计算,我们会将 ab 矩阵转置
dfab = pd.DataFrame(ab.T, columns=['A', 'B'])
# A B 协方差
dfab.A.cov(dfab.B)
>> 150.95263157894738
# A B 相关系数
dfab.A.corr(dfab.B)
>> 0.18394200852440828
dfab
>> A B
0 35 25
1 2 24
2 75 72
3 72 91
4 55 27
5 77 44
6 69 85
7 83 21
8 3 0
9 46 64
10 31 44
11 91 31
12 72 6
13 12 91
14 15 1
15 20 61
16 39 5
17 18 39
18 57 24
19 49 43
可以看到,和 numpy 相比,pandas 对于有多组数据的协方差、相关系数的计算比 numpy 更为简便、清晰,我们可以指定计算具体的两组数据的协方差、相关系数,这样就不需要再分析结果的协方差矩阵了。
小结
本文通过创建两组随机的数组,然后通过参考定义公式编写函数,再到使用 numpy 以及 pandas 进行协方差、相关系数的计算。到这里我们应该已经了解了数据相关性分析的原理,以及简单的具体实践使用方法,日后在工作中遇到需要做数据相关性分析的时候,就可以派上用场了。 End. 作者:空空 来源:知乎零基础入职数据分析就业班
课程的形式主要是“直播+录播”
报名专享:课程项目作业+1v1班主任监督学习+爱数据学院学员专属网站+班级答疑群
课程结束后能熟练掌握SQL、Python、Excel、PPT等工具
适合人群:
1.转行(岗位相关,专业相关、对数据分析感兴趣)2.从事数据分析工作,但是需要提升技能以及增加实战经验3.应届毕业生入职数据分析
![9e3adfb7c5bb9dfa88a639362562b887.png](https://i-blog.csdnimg.cn/blog_migrate/9e8d702dd8cd73e8f4a4b4320af8c11d.jpeg)
![ea6806d74b2ade362403f98124cc4359.gif](https://i-blog.csdnimg.cn/blog_migrate/2808477b2540ee8af74185786db7734c.gif)