相关系数——数学建模清风笔记

总体和样本

总体——所要考察对象的全部个体叫做总体。我们总是希望得到总体数据的一些特征(例如均值方差等)

样本——从总体中所抽取的一部分个体叫做总体的一个样本。

计算这些抽取的样本的统计量来估计总体的统计量

皮尔逊Pearson相关系数

总体皮尔逊Pearson相关系数

皮尔逊相关系数也可以看成是剔除了两个变量量纲影响,即将X和Y标准化后的协方差。

样本皮尔逊Pearson相关系数

皮尔逊相关系数的理解误区

皮尔逊相关系数只是用来衡量两个变量线性相关程度的指标;也就是说,你必须先确认这两个变量是线性相关的,然后这个相关系数才能告诉你他俩相关程度如何。因此建模中要先画散点图判断是否是线性相关。

(1)非线性相关也会导致线性相关系数很大,例如图2。

(2)离群点对相关系数的影响很大,例如图3,去掉离群点后,相关系数为0.98。

(3)如果两个变量的相关系数很大也不能说明两者相关,例如图4,可能是受到了异常值的影响。

(4)相关系数计算结果为0,只能说不是线性相关,但说不定会有更复杂的相关关系(非线性相关),例如图5。

两点总结:

(1)如果两个变量本身就是线性的关系,那么皮尔逊相关系数绝对值大的就是相关性强,小的就是相关性弱。

(2)在不确定两个变量是什么关系的情况下,即使算出皮尔逊相关系数,发现很大,也不能说明那两个变量线性相关,甚至不能说他们相关,我们一定要画出散点图来看才行。

比起相关系数的大小,我们往往更关注的是显著性。(假设检验)

计算步骤

第一步:对数据进行描述性统计

方法一:MATLAB

举例:

clear;clc
load 'physical fitness test.mat'  %文件名如果有空格隔开,那么需
PCA(Principal Component Analysis)是一种常用的降维方法,用于将高维数据转换为低维数据。在Python中,可以使用sklearn库中的PCA模块来进行PCA分析。 首先,需要导入PCA模块,并创建一个PCA对象。可以通过设置n_components参数来指定希望降维后的特征维度数目。例如,可以设置n_components=1来将数据降维为一维。然后,使用fit方法拟合数据,并使用transform方法将数据转换为降维后的结果。最后,可以使用print语句打印出转换后的结果。\[1\] 除了n_components参数,PCA模块还提供了其他一些参数,如copy、whiten和svd_solver等。copy参数用于指定是否在运行算法时复制原始训练数据,whiten参数用于指定是否进行白化操作,svd_solver参数用于指定奇异值分解的方法。可以根据具体需求进行设置。\[3\] 需要注意的是,PCA方法舍弃了部分信息来提高整体的计算效率,因此如果每个主成分的贡献率都相差不多,则不建议使用PCA。此外,PCA得到的主成分往往难以解释其含义,与原始变量的含义相比较模糊。因此,PCA不适用于评价类模型,但可以用于聚类和回归等任务。\[2\] 参考链接: - 如何理解主成分分析法(PCA) - 清风数学建模学习笔记——主成分分析(PCA)原理详解及案例分析 - PCA的数学原理【数据处理方法】主成分分析(PCA)原理分析协方差矩阵和矩阵相关系数的理解 请注意,以上回答仅针对PCA的基本概念和使用方法,具体的代码实现和应用场景可能需要根据具体情况进行调整。 #### 引用[.reference_title] - *1* *2* [主成分分析法(PCA)的理解(附python代码案例)](https://blog.csdn.net/qq_45722196/article/details/127584340)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [用python进行主成分分析(PCA)](https://blog.csdn.net/TSzero/article/details/116601796)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

沐尘.affluent

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值