Spark2 DataFrameStatFunctions探索性数据统计分析

最新推荐文章于 2021-01-13 05:15:34 发布
最新推荐文章于 2021-01-13 05:15:34 发布
阅读量1.2k 收藏
点赞数 1
分类专栏： Spark Scala 数据分析 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hadoop_spark_storm/article/details/53423446
版权
本文探讨了如何使用Spark2中的DataFrameStatFunctions进行探索性数据统计分析，包括查看字段中的频繁元素集合和计算相关系数，为数据预处理和挖掘提供了有效工具。
摘要由CSDN通过智能技术生成

data数据源，请参考我的博客http://blog.csdn.net/hadoop_spark_storm/article/details/53412598

import org.apache.spark.sql.DataFrameStatFunctions

查看字段中频繁元素的集合

val colArray1=Array("affairs", "gender", "age", "yearsmarried")

data.stat.freqItems(colArray1).show(10,truncate=false)
+-------------------------------+----------------+------------------------------------------------------+-----------------------------------------------+
|affairs_freqItems              |gender_freqItems|age_freqItems                                         |yearsmarried_freqItems                         |
+-------------------------------+----------------+-------------------------------------------------
最低0.47元/天 解锁文章
大数据-酷峰中行
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python玩转大数据--105精讲视频
05-11
该课程采用时下后的编程语言Python讲解，囊括了当前火的大数据技术Spark/Hadoop/Hive知识，学习环境是基于Docker搭建的5个容器。通过这门课程不仅可以学到Spark/Hadoop/Hive大数据知识，还可以学到当下后的云计算技术Docker.任务作业：很多人都想入门机器学习和人工智能，挑战高薪！殊不知人工智能和机器学习的基础是数据及数学，特别是在大数据时代，90%以上的公司不单单是招聘算法工程师，到猎聘Boss直聘上查找算法岗位，查看其招聘条件往往都需要熟练使用大数据平台。这门课程涵盖Docker云计算容器技术，要求学员学完本门课程能够使用Docker容器部署4个容器的Spark集群并能用学到的Docker技术制作一个微服务镜像并对外提供服务；本课程全面讲解了Spark原理及接口，要求学员学完本课程能用网络爬虫爬取全国各地的房价数据，并用Spark编写mapreduce程序分析房价分布情况；本课程涉及分布式机器学习SparkML,要求学员学完本课程，能用SVR，LinearRegreesion,多层感知机算法，决策树回归算法等算法进行房价预测。人人都想入门人工智能，殊不知人工智能的入门准则是基础的算法和数据处理的能力，学完本课程希望人人拿高薪！（注意： 作业需写在CSDN博客中，请把作业链接贴在评论区，老师会定期逐个批改~~）
Spark笔记(三) DataFrame
weixin_33947521的博客
05-27 150
import org.apache.spark.sql.SparkSessionobject test24 { def main(args: Array[String]): Unit = { val ss= SparkSession.builder().master("local[2]").appName("hello").getOrCreate() val sc=ss.sparkC...
Spark中DataFrame版的相关系数计算——DataFrameStatFunctions，Spark线性回归pipline
王某的博客
01-03 5730
很多人还在实用RDD的相关API，为跟上“未来”，咱讨论下DataFrame版的相关API。 > 2. 对数组中的数处理为绝对值之后复制一份，对副本进行排序（NaN之前已经被处理为0），每次取复制的数组中的第一个值（前提是大于阈值0.8）；在二维数组中找到对应的两个变量记为indexX和indexY > 3. 计算indexX和其他所有变量的相关系数的绝对值之和，记为sumX；同理，对indexY，记为sumY。比较
dataframe进行常用统计、分组统计平均绝对偏差等操作函数。
热门推荐
IT届的小学生
03-02 2万+
pandas在dataframe中提供了丰富的统计、合并、分组、缺失值等操作函数。 1.统计函数 df.count() #非空元素计算 df.min() #最小值 df.max() #最大值 df.idxmin() #最小值的位置，类似于R中的which.min函数 df.idxmax() #最大值的位置，类似于R中的which.max函数 df.quantile(0.1) #10%...
Spark-SQL之DataFrame操作大全
weixin_30355437的博客
10-12 5871
　　Spark SQL中的DataFrame类似于一张关系型数据表。在关系型数据库中对单表或进行的查询操作，在DataFrame中都可以通过调用其API接口来实现。可以参考，Scala提供的DataFrame API。 　　本文中的代码基于Spark-1.6.2的文档实现。 一、DataFrame对象的生成 　　Spark-SQL可以以其他RDD对象、parquet文...
基于Spark的电影数据集分析
06-24
使用的数据集来自知名数据网站 Kaggle 的 tmdb-movie-metadata 电影数据集，以Python为编程语言，使用大数据框架Spark对数据进行了预处理，然后分别从多个方面对数据进行了分类和分析，并对分析结果进行可视化。...
基于Spark的零售交易数据分析
06-24
该项目是大三下学期的课程设计，选取了共541909条数据，以Python为编程语言，使用大数据框架Spark对数据进行了预处理，然后分别从多个方面对数据进行了分类和分析，并对分析结果进行可视化。里面包含我的课程设计...
人工智能-spark-基于Spark对全国历史气象数据的分析
03-14
基于Spark对全国历史气象数据的分析 用PySpark处理数据 将所有文件读为一个****RDD rdd = sc.wholeTextFiles("file:///" + os.getcwd() + "/china/") **数据清洗 ** 去除字母， -9999等无效数据 进行计算、排序等...
基于Java+spark的离线统计移动端数据分析源码.zip
03-13
基于Java+spark的离线统计移动端数据分析源码.zip适合毕业设计、课程设计作业，所有源码均经过严格测试，可以直接运行，可以放心下载使用。 基于Java+spark的离线统计移动端数据分析源码.zip适合毕业设计、课程设计...
A毕业设计：基于Spark网易云音乐数据分析
最新发布
03-15
基于Spark进行网易云音乐数据分析是一个有趣而且具有挑战性的项目。Spark是一个强大的分布式计算框架，适合处理大规模数据集，而网易云音乐作为一个庞大的音乐平台，拥有大量用户数据和音乐信息，可以通过Spark进行...
spark-stat:使用 Spark 计算加权方差
06-13
使用 Spark 计算加权方差 DoubleRDD上的stat()函数以数值稳健的方式计算 RDD 值的计数、均值和方差，并在实例中返回该信息。 上述函数的输入值都是未加权的，我遇到了每个输入值都与一个权重相关联的情况，我需要计算加权均值和加权方差。 当然，所有这些都必须在线和在大量 RDD 上完成。 的文章让我对加权增量过程有了很好的复习。 因此，我公然将原始StatCounter代码撕成WeightedStatCounter并调整merge函数以考虑WeightedValue形式的WeightedValue输入。 代码是用编写的，所以我创建了隐式类来启用对WeightedValue的RDD和“新”数据的stats函数的调用 val values = Seq ( WeightedValue ( 10.0 , 1.0 ), WeightedValue ( 12.0 , 2.
Spark SQL 函数操作
路漫漫其修远兮，吾将上下而求索
12-11 1万+
Spark 内置函数 使用Spark SQL中的内置函数对数据进行分析，Spark SQL API不同的是，DataFrame中的内置函数操作的结果是返回一个Column对象，而DataFrame天生就是”A distributed collection of data organized into named columns.”,这就为数据的复杂分析建立了坚实的基础并提供了极大的方便性，例如说
scala代码（二）
高臭臭的博客
11-21 551
最近看PrefixSpan 源代码，自己用java重新写了，两个问题浪费了不少时间。 1：scala的操作符如果没有赋值，那么是不影响原来的数据结构。可以看成是不可变类。 如ReversedPrefix add(int item)         {             assert(item != 0);                 List<Integer> newIt...
sparkSQL:dataframe
左手coding，右手cooking
08-31 5561
DataFrame 的函数 Action 操作 1、 collect() ,返回值是一个数组，返回dataframe集合所有的行 2、 collectAsList() 返回值是一个java类型的数组，返回dataframe集合所有的行 3、 count() 返回一个number类型的，返回dataframe集合的行数 4、 describe(cols: String*) 返回一个通过数学计算的类表值
spark的DataFrame介绍及使用示例分析
qq_23617681的博客
05-14 4717
DataFrame是spark推荐的统一结构化数据接口。 基于DataFrame能实现快速的结构化数据分析。 它让spark具备了大规模结构化数据的处理能力。 暗示了spark希望一统大数据处理的决心和野心。 spark通过DataFrame希望满足所有数据处理工程师的需求，包括R工程师、SQL商业分析师。 DataFrame处理的基本步骤是： 1、创建sqlContext，它
通过例子学习spark dataframe -- transformations函数(2)
zg_hover的专栏
12-03 3955
通过例子学习spark dataframe transformations函数2 说明 数据说明 agg groupBy apply 和 col cube drop join na select withColumn 和 withColumnRenamed stat通过例子学习spark dataframe – transformations函数(2)说明transformations函数分为两类
spark中dataframe解析_Spark2 DataFrameStatFunctions探索性数据统计分析
weixin_29646607的博客
01-13 250
import org.apache.Spark.sql.DataFrameStatFunctionsimport org.apache.spark.sql.functions._相关系数val df = Range(0,10,step=1).toDF("id").withColumn("rand1", rand(seed=10)).withColumn("rand2", rand(seed=27)...
4、Spark DataFrame理解和使用之不同数据类型的操作(一)
Toby的博客
10-24 2072
数据类型： Booleans布尔型 Numbers数值型 Strings字符型 Dates and Timestamps 日期和时间戳 Handling Null 空值 Complex Types 复杂类型 User Defined Functions 用户自定义函数 常用的处理模块有DataFrameStatFunctions（统计分析模块）和DataFrameNaFunctions（处理缺失值模块），里面包含很多相应场景中会用到的函数和方法。Column方法，包含一些跟处理列相关的方法.
Spark2 探索性数据统计分析
weixin_33717298的博客
12-02 178
data数据源，请参考我的博客http://www.cnblogs.com/wwxbi/p/6063613.html import org.apache.Spark.sql.DataFrameStatFunctions import org.apache.spark.sql.functions._ 相关系数 val df = Range(0,10,step=1).toDF("id...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值