Spark中，DataFrame的操作实例及展示

最新推荐文章于 2024-07-31 15:54:40 发布
最新推荐文章于 2024-07-31 15:54:40 发布
阅读量977 收藏 2
点赞数 1
分类专栏： spark 文章标签： spark 大数据 hadoop hdfs linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46227398/article/details/104885023
版权
本文介绍了如何在Spark中启动进程和Spark集群，重点讲解了DataFrame的各种操作，包括读取数据、元数据打印、显示数据、统计行数、选择列、分组统计、过滤、去重和按列排序等步骤。
摘要由CSDN通过智能技术生成

1、启动进程

启动：hdfs和spark，会看到如下图所示的进程

（1）主节点如图所示：

在这里插入图片描述

（2）从节点如图所示：

在这里插入图片描述

2、Spark集群的启动

浏览器输入 http://10.103.104.101:8080/
在这里插入图片描述
（2）spark-shell启动
在这里插入图片描述

3、DataFrame的操作

（1） 读取数据

val inputpath="hdfs://master:9000/input"

最低0.47元/天 解锁文章
@ni，study
关注
专栏目录
spark中关于dataframe的使用详解
Abcdewwh的博客
08-13 773
spark关于DataFrame在复杂数据筛选的使用小记 【实验说明】 1，people.csv 中的数据是中国第五次人口普查（2000年）和第六次人口普查（2010年）的数据。以下为数据列的说明 列序号 说明 1 地区名称 2 户口地区类型，分别为 城市/镇/乡村 3 户口集体类型，分别为 家庭户/集体户 4 统计年份 5 性别 6 人数 【实验要求】 取2000年普查数据对比2010年普查数据，统计所有人口减少的地区，按减少数量从高到低排列。结果表头格式如下表所示
DataFrame API入门操作及代码展示
小叮当的博客
12-01 1134
DataFrame的一个强大之处就是我们可以将它看作是一个关系型数据表，然后可以通过在程序中使用spark.sql() 来执行SQL语句查询，结果返回一个DataFrame。使用SQL查询我们需要调用SparkSession.sql(“SQL语句”)执行查询，返回值是一个新的DataFrame。df.createGlobalTempView()：注册全局临时的视图表。df.createTempView()：注册临时的视图表。filter()与where()方法。printSchema()方法。
摸鱼大数据——Spark SQL——DataFrame详解一
weixin_65694308的博客
07-07 1176
DataFrame表示的是一个二维的表。二维表，必然存在行、列等表结构描述信息​表结构描述信息(元数据Schema): StructType对象字段: StructField对象，可以描述字段名称、字段数据类型、是否可以为空行: Row对象列: Column对象，包含字段名称和字段值​在一个StructType对象下，由多个StructField组成，构建成一个完整的元数据信息。
Spark DataFrame groupBy并获取其它列的聚合值
梦家の博客
07-21 2239
代码实现： object test { def main(args: Array[String]): Unit = { val session = SparkSession .builder() .appName(this.getClass.getSimpleName).master("local") .getOrCreate() val df = session.createDataFrame(Seq( ("trace1", "src1
Pandas：DataFrame的完整指南
一键难忘的博客
02-17 6911
Pandas是Python中最流行的数据处理库之一，而其中的DataFrame对象是数据处理的核心。DataFrame为我们提供了一个强大而灵活的数据结构，使得数据的清洗、分析和可视化变得更加简便。在本文中，我们将深入探讨Pandas DataFrame对象的基础知识，并提供实际代码示例和详细解析，帮助读者更好地理解和运用DataFrame。
Spark入门实战系列--3.Spark编程模型（上）--编程模型及SparkShell实战
yyy
09-09 979
1、Spark编程模型 1.1 术语定义 l应用程序（Application）： 基于Spark的用户程序，包含了一个Driver Program 和集群中多个的Executor； l驱动程序（Driver Program）：运行Application的main()函数并且创建SparkContext，通常用SparkContext代表Driver Program； l执行单元（Execu
pandas和spark dataframe互相转换实例详解
09-17
然而，将 `Spark DataFrame` 转换回 `pandas DataFrame`（`toPandas()`）是单机操作，意味着所有数据会被拉取到单个节点上，如果数据量过大，可能会导致内存溢出。因此，对于大数据集，我们需要一个分布式转换方法：...
spark rdd转dataframe 写入mysql的实例讲解
09-09
总的来说，Spark的DataFrame API极大地简化了大数据处理中的数据操作，提高了开发效率，同时保持了Spark的高性能计算能力。通过将RDD转换为DataFrame，我们可以利用其丰富的功能进行复杂的数据处理，并通过各种数据...
Spark SQL DataFrame 算子
最新发布
2401_84052244的博客
07-31 410
DataFrame 算子与 SQL 查询语句之间，并没有优劣之分，他们可以实现同样的数据应用，而且在执行性能方面也是一致的。因此，你可以结合你的开发习惯与偏好，自由地在两者之间进行取舍。DataFrame 本身支持的算子之外，在功能上，SQL 完全可以实现同样的数据分析。给定 DataFrame，你只需通过 createTempView 或是 createGlobalTempView 来创建临时表，然后就可以通过写 SQL 语句去进行数据的探索、倾斜、转换与分析。
spark shell的词频统计，去重，排序及合并 （嚯啊嚯）
qq_43241439的博客
11-29 3063
Spark技术RDD算子spark-shell基础操作wordcount统计去重distinct排序sortByKey合并join RDD算子 RDD有两种类型的操作 ，分别是Transformation（返回一个新的RDD）和Action（返回values）。 1.Transformation：根据已有RDD创建新的RDD数据集build （1）map(func)：对调用map的RDD数据集中的...
spark-shell示例
jarth的专栏
11-09 1011
Scala 行数统计 命令及结果示例 # spark-shell scala> val lines  = sc.textFile("README.md") lines: org.apache.spark.rdd.RDD[String] = README.md MapPartitionsRDD[1] at textFile at :24 scala> lines.count
Linux 下Spark shell 编程实例
ECNU_sei_mfj的博客
03-22 485
文章目录1. 统计用户收藏的商品数量1.1 统计用户收藏数据中，每个用户收藏商品的数量。1.2 统计用户收藏数据中都有哪些商品被收藏（去重）。2. 查询用户购买的商品 1. 统计用户收藏的商品数量 格式：用户Id 商品Id 收藏日期 1.1 统计用户收藏数据中，每个用户收藏商品的数量。 1.2 统计用户收藏数据中都有哪些商品被收藏（去重）。 2. 查询用户购买的商品 orders表(订单id, 订单号, 买家ID, 下单日期) order_items表(明细ID, 订单ID , 商品ID)
大数据技术----Spark实验
weixin_56853728的博客
09-22 1072
虚拟机之Spark环境搭建
Spark中DataFrame基本操作函数
别说话写代码的博客
07-30 1385
Action 操作 1、collect() ,返回值是一个数组，返回dataframe集合所有的行 2、collectAsList() 返回值是一个java类型的数组，返回dataframe集合所有的行 3、count() 返回一个number类型的，返回dataframe集合的行数 4、describe(cols: String*) 返回一个通过数学计算的类表值(count, mean, stddev, min, and max)，这个可以传多个参数，中间用逗号分隔，如果有字段为空，那么不参与运算...
『 Spark 』7. 使用 Spark DataFrame 进行大数据分析
fengyuruhui123的博客
09-21 1523
1. 什么是 spark dataframe先来看看官方原汁原味的文档是怎么介绍的：A DataFrame is a distributed collection of data organized into named columns. It is conceptually equivalent to a table in a relational database or a data frame
scala之stripMargin和多行字符串的使用
灬皇帝的新装灬的博客
08-03 2万+
  (1)Scala中创建多行字符串使用Scala的Multiline String。 在Scala中，利用三个双引号包围多行字符串就可以实现。 代码实例如： val foo = """a bc d""" 运行结果为： a    bc    d  (2) 上述方法存在一个缺陷问题，输入的内容，带有空格、\t之类，导致每一行的开始位置不能整洁对齐。 而在实际应用场景下，有时候...
spark dataframe操作集锦（提取前几行，合并，入库等）
热门推荐
大数据挖掘SparkExpert的博客
04-02 9万+
spark dataframe派生于RDD类，但是提供了非常强大的数据操作功能。当然主要对类SQL的支持。 在实际工作中会遇到这样的情况，主要是会进行两个数据集的筛选、合并，重新入库。 首先加载数据集，然后在提取数据集的前几行过程中，才找到limit的函数。 而合并就用到union函数，重新入库，就是registerTemple注册成表，再进行写入到HIVE中。
Spark中的DataFrame是什么？以及如何构建DataFrame？（附案例）
奇迹虎虎的博客
02-23 9920
在 Spark 中，DataFrame 是一种以 RDD 为基础的分布式数据集，是一种特殊的RDD，是一个分布式的表，类似于传统数据库中的二维表格。DataFrame 与 RDD 的主要区别在于，前者带有 schema 元信息，即 DataFrame 所表示的二维表数据集的每一列都带有名称和类型。
Spark SQL DataFrame读写实践：load与save操作详解
Spark SQL数据加载和保存实例讲解是一篇关于Apache Spark SQL操作DataFrame的实用教程。Spark SQL是Apache Spark的一个重要组件，它允许用户在结构化数据上进行高级查询，通过DataFrame对象进行数据处理。DataFrame...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值