统计思维(实例5)——变量之间的关系

本文探讨了变量之间的关系,通过散点图、相关性、协方差和Pearson及Spearman相关性等多个角度进行阐述。强调了散点图在数据可视化中的作用,以及如何通过透明度调整处理大数据集。同时,文章指出Pearson相关性适用于线性关系,而Spearman秩相关性则更为稳健,适用于非线性或离群值的情况。最后,文章提醒读者相关性并不等同于因果关系,强调了证明因果关系的重要性。
摘要由CSDN通过智能技术生成

本章将研究变量之间的关系,如果能从一个变量的信息中得到另一个变量的信息,那么这两个变量之间就是相关的。

散点图

研究两个变量之间关系的最简单方法是散点图(scatter plot),但好的散点图的绘制并不简单。

下面绘制BRFSS调查参与者的体重与身高关系的散点图。但这个绘制结果数据都成列聚集,这是因为身高数据四舍五入到相邻的英寸,转换为厘米后,再次四舍五入。在这个转换过程中,丢失了一些信息。


图1 BRFSS调查参与者的体重与身高关系散点图,未抖动(左),抖动(右)

即使经过了抖动处理,散点图也不是展示数据的最佳方法。图中有很多重叠的点,遮盖了密集部分的数据,使离群值显得特别突出。这种效果称为饱和(saturation)。我们可以使用参数alpha解决这个问题,将图中的点显示为半透明的。


图2 经过抖动和透明处理的散点图(左)和hexbin图(右)

对于中等规模的数据集,在散点图设置透明度效果很好。但要处理规模更大的数据集,可以使用hexbin图。hexbin图将图像划分为六角形的区间,将每个区间按照其中数据点的数量进行着色。

hexbin的优点是可以很好地展示变量关系的形状,并且对于大数据集运行效率(时间效率和生成的文件大小)很高。缺点是离群值在图中不可见。

描述关系特征

散点图能让我们对变量关系有个大体了解,其他可视化方法则可以让我们更深入了解变量关系的本质。一种方法是对一个变量进行分区,绘制另一个变量的百分位数。

计算分区的过程如下:

  • 去除指定列含有nan值的数据行,对数据进行分区
  • 遍历每个分区的数据,计算其身高均值和体重CDF
  • 绘制身高对应的体重百分位数

下图展示了绘制结果,在140-200厘米,变量关系几

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值