spark-shell查看parquet文件内容

最新推荐文章于 2024-08-22 18:22:27 发布
最新推荐文章于 2024-08-22 18:22:27 发布
阅读量1.8k 收藏 2
点赞数
分类专栏： spark
原文链接：https://www.jianshu.com/p/57b20d9d7b4a
版权

1、进入spark shell

./spark-shell

2、执行以下操作读取parquet文件

val sqlContext = new org.apache.spark.sql.SQLContext(sc)

val parquetFile = sqlContext.parquetFile("/user/hive/warehouse/ods.db/ods_mall_lite_pc_v3/brand=tgdc/city=beijing/site=ydg/dt=2020-04-21/process_date=2020-04-22/part-00001-8013515e-4871-4f32-93bd-1d46af59d590.c000.snappy.parquet")

3、打印具体内容

parquetFile.take(200).foreach(println)

左林右李02
关注
专栏目录
spark-3.1.3-bin-hadoop3.2.tgz
05-19
这个版本的Spark不仅提供了源码，还包含了预编译的二进制文件，使得在Linux环境下快速部署和使用Spark成为可能。 Spark 的核心特性在于它的弹性分布式数据集（Resilient Distributed Datasets，简称RDD），这是一种...
Spark读取parquet格式数据创建DataFrame 22
啊策策大数据社区
09-23 471
3. 读取parquet列式存储格式文件创建DataFrame 准备数据文件 使用Spark自带的数据包 /export/servers/spark/example/src/mian/resources/users.parquet 在spark shell执行下面命令， 读取数据 这里使用SparkSession创建DataFrame val parquetDF = spark.read...
spark-SQL-shell操作(超级详细)
互联网知识分享
05-15 1465
用户可以先定义一个简单的Schema，然后逐渐的向Schema中增加列描述。需要注意的是，这些保存模式不使用任何锁定，不是原子操 ,SaveMode详细介绍如下表.加载文件夹,其实原本是加载文件的 ，主要是这个文件名的名字太长，所以就提供了可以使用文件夹。只读取需要的列，支持向量运算，能够获取更好的扫描。）查看 .parquet格式的数据，显示乱码，这个格式如何编写就不演示了。可以跳过不符合条件的数据，只读取需要的数据，降低IO数据量。是自定义的,是标记用的，也是一个文件名，但等号是一定要有的，
hdfs或hive的snappy.parquet文件查看
最新发布
u011250186的博客
08-22 62
hdfs或hive的snappy.parquet文件查看
【大数据笔记】- Spark Shell
foxofwind的博客
12-21 530
一.基础环境： 本文默认了你已经有了hadoop+Spark环境，且有一台linux客户机，配置好了各种环境变量，可执行Spark命令的。 以上环境有没完成的，自行去百度完成。 二.Spark Shell 交互 1.准备一个分析文件 word_test.txt（内容随意，我放的是英文诗），上传到hdfs，/tmp/hubg/目录下 hadoop fs -put word_test.txt /tmp/hubg/word_test.txt 2. ...
spark 操作 spark-shell
StayHungry2016的博客
05-31 2670
读取HDFS 上文件命令， spark.read.textFile("/user/ssy.097").count spark.read.wholeTextFiles SparkContext.wholeTextFiles 能够读取指定目录下的许多小文本文件 spark.read.textFile("/user/ssy.097").map(_.split("\u001,-
spark统计文件行数
热门推荐
风筝中有风
01-04 1万+
虽然接触大数据2年了，以前对spark使用都是和solr建索引任务，由于目前的工作很少涉及spark了，为了不遗忘，从头开始复习一下spark，不同的是这次记录下来，一来方便自己查阅，二来对于刚入门的同行也算个案例。PS.高手勿喷 1、spark读取文件，统计行数 Intellj idea 开发工具环境就不在介绍了，网上很多教程，唯一需要注意的是你的spark或者scala版本与本地一致即可。
spark-2.4.8-bin-hadoop2.7.tgz
10-25
2. **Spark SQL**：支持结构化和半结构化数据处理，可以与Hive、Parquet、JSON等多种数据源进行交互，同时提供了DataFrame和Dataset API，使得SQL和DataFrame/Dataset之间的转换更为方便。 3. **Spark Streaming**：...
spark-3.2.0-bin-hadoop3-without-hive
04-24
需要注意的是，对于没有 Hive 支持的 Spark，你可能需要使用其他方式来实现数据仓库的功能，比如使用 Parquet 或 Avro 格式存储数据，或者利用 Spark 自身的数据湖解决方案——Delta Lake。 总结来说，“spark-...
spark-3.1.2-bin-hadoop2.7.tgz
01-29
如果只是本地测试，可以使用Spark的独立模式，通过`spark-shell`命令启动交互式Scala shell，或者使用`pyspark`启动Python shell。 Spark SQL是Spark的一个重要组件，它允许用户使用SQL语法处理数据，并与Hive、...
spark-2.4.7-bin-hadoop2.7.tgz
03-19
- **Spark SQL**：Spark的一个模块，用于处理结构化数据，支持SQL查询和DataFrame API，可以与多种数据源（如Hive、Parquet、JSON等）集成。 - **Spark Streaming**：处理实时数据流，通过微批处理实现高吞吐量和...
spark读取parquet文件
qq_43193797的博客
10-14 1563
spark-shell读取parquet文件 1、 进入spark-shell窗口 2、 val sqlContext = new org.apache.spark.sql.SQLContext(sc) 3、 val parquetFile = sqlContext.parquetFile("hdfs://cdp/user/az-user/sparkStreamingKafka2Hd...
用xshell工具读取parquet文件字段和内容
mmz99的博客
08-13 1153
最近工作需要读取parquet文件的内容，因为它列式存储无法直接查看，百度了很多文章都是spark写代码读取，以为很难，实则我都想扇死自己。 前置条件： Xshell 工具 顺序输入 进入spark-shell窗口 1. spark-shell 2. val sqlContext = new org.apache.spark.sql.SQLContext(sc) hdfs://cdp是defaultFS，也可以不写，如下: 3. val parquetFile = sqlContext.parquetF
spark-shell读取本地文件
风
04-17 1186
spark读取本地文件
Spark 读取csv文件/读取mysql数据
kerry_55的博客
06-26 1254
1、spark读取csv数据文件 https://www.cnblogs.com/gaopeng527/p/4961464.html val df = sqlContext.load("com.databricks.spark.csv", Map("path" -> "/tmp/model/nlp/lda/data_result_0605_new.txt", "header"-&gt...
Spark入门实战系列--3.Spark编程模型（上）--编程模型及SparkShell实战
yyy
09-09 989
1、Spark编程模型 1.1 术语定义 l应用程序（Application）： 基于Spark的用户程序，包含了一个Driver Program 和集群中多个的Executor； l驱动程序（Driver Program）：运行Application的main()函数并且创建SparkContext，通常用SparkContext代表Driver Program； l执行单元（Execu
spark用shell读取hdfs parquet文件方式 注册表
06-06
可以使用 Spark 的 DataFrame API 读取 HDFS 上的 Parquet 文件并注册成表，具体步骤如下： 1. 启动 Spark Shell： ``` $ spark-shell ``` 2. 使用 SparkSession 对象创建 DataFrame，示例代码如下： ```scala val df = spark.read.parquet("hdfs://localhost:9000/path/to/parquet") ``` 上述代码读取了 HDFS 中的 Parquet 文件，并将其转换成 DataFrame。 3. 使用 DataFrame 的 `createOrReplaceTempView` 方法将其注册成表，示例代码如下： ```scala df.createOrReplaceTempView("my_table") ``` 上述代码将 DataFrame `df` 注册成名为 `my_table` 的表。 4. 可以使用 Spark SQL 的语法查询该表，示例代码如下： ```scala val result = spark.sql("SELECT COUNT(*) FROM my_table") result.show() ``` 上述代码查询 `my_table` 表中的记录数量并输出结果。 需要注意的是，上述代码中的 HDFS 路径应该是正确的，并且 SparkSession 对象需要正确配置。此外，需要确保 HDFS 中的 Parquet 文件的 schema 与 DataFrame 中的 schema 一致，否则会出现解析错误。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值