利用Python计算数据的Pearson相关系数

最新推荐文章于 2024-07-05 13:57:44 发布

Leo_Sheng

最新推荐文章于 2024-07-05 13:57:44 发布

阅读量6.6k

点赞数 2

分类专栏： Python 机器学习

本文链接：https://blog.csdn.net/Leo_Sheng/article/details/82218476

版权

本文介绍了如何使用Python进行数据预处理，处理异常值，并计算Pearson相关系数。通过读取数据，分析异常值并进行替换，最终得出相关系数矩阵。

摘要由CSDN通过智能技术生成

步骤一：读取数据

# _*_ coding: utf-8 _*_
import pandas as pd
import numpy as np
df = pd.read_csv("D:data1.csv",index_col='user_id')

步骤二：异常数据处理（如无需预处理跳过数据预处理程序），进行Pearson相关系数计算

运用箱型图分析选出异常值，取前后相邻数据中值替换

def data_Process(df):
    for i in range(1454):
        j = i + 1
        powero = np.array(df.ix[j])
        power = powero[:, 1].flatten()
        powerf = power
        for m in range(35, 608):
            power_s = 0
            power_35 = []
            for n in range(m-35, m):
                power_s += power[n]
                power_35.append(int(power[n]))
            power_35s = sorted(power_35)
            power_m = power_s / 35
            load_u = power_35s[25]
            load_l = power_35s[8]