pyspark学习41：计算皮尔森相关系数、协方差、查看行数和描述性统计信息、更改列名、删除列

最新推荐文章于 2024-07-06 02:39:46 发布
最新推荐文章于 2024-07-06 02:39:46 发布
阅读量1.8k 收藏 3
点赞数 1
分类专栏： pyspark 文章标签： spark big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39954916/article/details/120583585
版权
本文介绍了如何使用PySpark计算皮尔森相关系数、协方差，查看行数、数据格式、描述性统计信息，并进行列名更改与列删除。示例中，针对DataFrame进行了数据类型转换，计算了'Age'和'Annual Income (k$)'的关联性，以及列的统计描述，并展示了如何删除特定列。
摘要由CSDN通过智能技术生成

对应视频40、41

课件3.3

启动pyspark：

pyspark --master spark://hadoop101:7077  --executor-memory 950m  --executor-cores 2

读取hdfs上的文件创建一个dataframe

>>>df = spark.read.csv('/sql/customers.csv',header=True)

1、查看行数

2、查看数据的格式

>>> df.dtypes

最低0.47元/天 解锁文章
斯特兰奇
关注
专栏目录
pytorch实现 求协方差、皮尔森相关系数（Pearson product-moment correlation coefficient）
weixin_39417324的博客
12-24 7498
先看下面的皮尔森相关系数计算公式，我也不知道念逊还是念森，反正吧，先看公式，其实就是上边分子求了个协方差，下边是对分母分别求类似标准差的东西(当然，不是标准差，因为标准差还需要除以n的算术平方根)。 当然，上边的介绍和公式并不重要哈，最重要的是怎么用代码直接实现。 协方差： 皮尔森系数 协方差实现： import torch x=torch.randn([2,10]) #这是2*10的矩阵，x[0]就是公式中的x，x[1]就是公式中的y print(torch.cov(x)) #最后打印出的是2*2的矩
pyspark sparksession_PySpark做相关分析
weixin_39670857的博客
11-26 884
这是我的第87篇原创文章，关于PySpark和相关分析。阅读完本文，你可以知道：1 相关分析的作用2 PySpark做相关分析：Pearson和Spearman“PDFMV框架是问题-数据-特征-模型-价值五个英文字母的首字母组合而成，它是以问题为导向，数据为驱动，利用特征和模型从数据中学习到知识，以创造价值的系统化过程。”1 相关分析相关分析用于探索和研究两两连续变量之间的相关性。...
pyspark 计算 皮尔逊相关系数
luoganttcc的博客
06-07 5040
from pyspark.ml.linalg import Vectors from pyspark.ml.stat import Correlation from pyspark.sql import SparkSession spark= SparkSession\ .builder \ .appName("dataFrame...
pyspark corr p值
最新发布
weixin_29102619的博客
07-06 26
Python,数据集相关视频讲解：python的or运算赋值用法用python编程Excel有没有用处？011_编程到底好玩在哪？查看python文件_输出py文件_cat_运行python文件_shel实现"pyspark corr p值"的步骤 整体流程 实现"pyspark corr p值"的步骤#render...
pyspark_ml_相关系数
wj1298250240的博客
12-15 1541
皮尔森（pearson）相关系数_斯皮尔曼（spearman）相关系数 #方法2需要复制这三行 import findspark findspark.init() import pyspark from pyspark.ml.linalg import Vectors from pyspark.ml.stat import Correlation data = [(Vectors.sparse...
pyspark_统计行数_过滤
wj1298250240的博客
12-14 3753
pyspark_统计行数 #方法2需要复制这三行 import findspark findspark.init() import pyspark import sys from pyspark import SparkContext # 创建一个名为lines的RDD lines = sc.textFile("C:/data/readme.txt") # C:/data/readme.txt ...
使用df.corr（method=‘pearson‘）皮尔逊系数计算列与列的相关性，得到对应的热力图
weixin_45164367的博客
03-16 4802
你唯一需要做的就是df=需要计算相关性的dataframe 然后无脑运行，你就会得到类似的相关性热力图 import pandas as pd import matplotlib.pyplot as plt import seaborn as sns # 可视化w inputdata = pd.read_csv('你的文件地址') plt.rcParams['font.sans-serif'] = ['SimHei'] # 用来正常显示中文标签 plt.rcParams['axes.unicode_
Task1：皮尔森相关系数计算 | 数据模拟
TC22000的博客
01-10 2256
Task1：皮尔森相关系数计算 | 数据模拟皮尔森相关系数计算 | 数据模拟1. 数据选取:2. 计算皮尔森相关系数2.1 研究变量：2.2 研究问题：2.3 演示流程及结果演示在SPSS中计算五个变量两两之间的皮尔森相关系数，演示计算特定感兴趣变量之间的相关系数。在SPSS中画散点图矩阵将SPSS操作Copy到Excel表格，在Excel表格中演示如何从原始数据得到主要的统计结果，彼此验证自设一...
皮尔森相关系数(Pearson correlation coefficient).docx
02-04
### 皮尔森相关系数详解 #### 一、引言 在统计学中，皮尔森相关系数（Pearson correlation coefficient）是一种广泛使用的度量两个变量间线性关系强度的方法。该系数不仅可以帮助我们理解变量之间的关系方向（正...
皮尔森相关系数代码.docx
04-02
皮尔森相关系数（Pearson Correlation Coefficient）是一种度量两个连续变量之间线性相关性的统计方法。该系数是由 Karl Pearson 在1900年提出的，故名 Pearsons r。该系数衡量的是两个变量之间的线性相关性强度和...
spark 协方差计算
zhangxinyu0827的博客
12-27 1070
       val data = Array(       Vectors.dense(4.0, 2.0, 3.0),       Vectors.dense(5.0, 6.0, 1.0),       Vectors.dense(2.0, 4.0, 7.0),       Vectors.dense(3.0, 6.0, 5.0)     )               rdd是可以直接算协方...
皮尔森相关系数_皮尔森相关系数的计算
weixin_39760434的博客
12-16 3089
在《变量关系大揭秘(一)》，我们提到了皮尔森相关系数r，它可是相关系数大家庭中的“1号人物”。虽然计算公式有点吓人，但其实就是小学算术。只有了解了r的算法，你才能真正理解“为什么它能衡量变量间的相关性”，你才能真正驾驭它。先来两个散点图，左图中x和y不相关，右图中x和y高度正相关，差别在哪？让我们在左右两图各画一个“田”字，“田”字中心的坐标是(x的平均值，y的平均值)：比较左右两图，我...
矩阵的协方差计算
高臭臭的博客
05-02 7786
矩阵的协方差矩阵是对称阵，用公式Cov(X, Y) = E[X * Y] - E[X] E[Y] 计算，其中E[X]和E[Y]是列的平局值，E[X*Y]是样本方差，可以用变换成Gramian矩阵减去E[X] E[Y] 后除以n-1，这样Cov(X, Y) = E[X * Y] - E[X] E[Y]  变换为 G[X*Y] /(m-1) - (m/m-1)E[X] E[Y].Gramian矩阵就是
皮尔森相关系数算法
weixin_30376509的博客
11-12 1903
　　皮尔森相关系数（Pearson correlation coefficient）也称皮尔森积矩相关系数(Pearson product-moment correlation coefficient) ，是一种线性相关系数。皮尔森相关系数是用来反映两个变量线性相关程度的统计量。相关系数用r表示，其中n为样本量，分别为两个变量的观测值和均值。r描述的是两个变量间线性相关强弱的程度。r的绝对值越大表...
pyspark学习之——基本统计
a_dreaming的博客
12-12 1636
       记录pyspark学习篇，学习资料来自spark官方文档，主要记录pyspark相关内容，spark2.4.8官方文档如下： https://spark.apache.org/docs/2.4.8/ml-statistics.html 目录基本统计1.相关性1.1 导包1.2 本地向量生成方法1.2.1 生成稠密向量1.2.2 生成稀疏向量1.3 生成实验用本地向量2 假设检验 基本统计 1.相关性       &nbs.
spark 相关性分析_《Spark机器学习进阶实战》——2.3.2　相关性分析
weixin_28782251的博客
01-17 440
2.3.2　相关性分析相关性分析是指通过分析寻找不同商品或不同行为之间的关系，发现用户的习惯，计算两个数据集的相关性是统计中的常见操作。MLlib提供了计算多个数据集两两相关的方法。目前支持的相关性方法有皮尔逊(Pearson)相关和斯皮尔曼(Spearman)相关。一般对于符合正态分布的数据使用皮尔逊相关系数，对于不符合正态分布的数据使用斯皮尔曼相关系数。皮尔逊相关系数是用来反映两个变量相似程度...
spark 相关性分析_读了十本书丨Hadoop大数据分析及数据挖掘读书笔记，一文总结...
weixin_39809584的博客
12-02 301
数据挖掘基础数据挖掘的概念：从数据中“淘金”，从大量数据（文本）中挖掘出隐含的、未知的、对决策有潜在的关系、模型和趋势，并用这些知识和规则建立用于决策支持的模型，提供预测性决策支持的方法、工具和过程，这就是数据挖掘。它是利用各种分析工具在大量数据中寻找其规律和发现模型与数据之间关系的过程，是统计学、数据技术和人智能智能技术的综合。数据挖掘的基本任务：包括利用分类与预测、聚类分析、关联规则、时序模式...
使用SelectKBest库和pearsonr库怎么计算皮尔森相关系数
05-19
使用SelectKBest库和pearsonr库计算皮尔森相关系数的步骤如下： 1. 导入所需的库： ``` python from sklearn.feature_selection import SelectKBest from scipy.stats import pearsonr ``` 2. 准备数据 首先，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值