如何查看.parquet文件中的内容

已于 2024-04-18 11:39:43 修改
阅读量1.3k 收藏 1
点赞数 2
分类专栏： 服务器 文章标签： 工具
于 2024-04-17 14:05:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_24470501/article/details/137870914
版权

工具下载地址：Releases · mukunku/ParquetViewer · GitHub

打开网页后，把这个exe文件直接下载运行即可：

工具运行后界面如下：

File -> Open File 选中你的.parquet文件打开即可，可以在WHERE方框中输入你的查询条件，默认只显示1000行记录，若要显示所有数据，可以点击右上角的向右箭头那个按钮

翩跹星子
关注
专栏目录
读取parquet数据的Python实战代码
weixin_43178406的博客
11-29 4万+
 本文主要介绍了读取parquet数据的Python实战代码，希望能对读取parquet数据的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
Spark SQL数据源 - Parquet文件
lxq1145371298的博客
06-15 590
对于这种情况，Spark SQL读取Parquet数据源时可以自动检测并合并所有Parquet文件的Schema。导入SaveMode类后，执行命令：usersdf.select("name", "favorite_color").write.mode(SaveMode.Overwrite)parquet("hdfs://master:9000/result")加载和写入Parquet文件时，除了可以使用load()方法和save()方法外，还可以直接使用Spark SQL内置的parquet()方法。
ParquetViewer 安装和配置指南
最新发布
gitblog_09378的博客
09-13 398
ParquetViewer 安装和配置指南 ParquetViewer Simple windows desktop application for viewing & querying Apache Parquet files ...
使用python打开parquet文件
m0_63997099的博客
02-04 4002
Parquet是一种用于列式存储和压缩数据的文件格式，广泛应用于大数据处理和分析中。Python提供了多个库来处理Parquet文件，例如和。本文将介绍使用这两个库打开Parquet文件的方法，并提供代码示例。使用命令行安装和。
使用命令行查看Parquet文件
u011250186的博客
08-22 180
使用命令行查看Parquet文件
Windows系统查看parquet文件
某可儿同学的博客
07-10 5638
windows系统查看parquet文件
安装ParquetViewer查看.parquet文件
qq_45893319的博客
08-29 1321
选择文件：ParquetViewer.exe。
无需python查看parquet文件
09-15
无需ppython查看parquet文件内容。 源码下载地址： https://github.com/apache/parquet-mr 编译： cd parquet-tools && mvn clean package -Plocal 使用方式： （1）查看schema java -jar parquet-tools-1.8.2.jar ...
users.parquet
10-14
spark sql test data
parquet 查看内容工具，可以看到编码格式等内容
01-05
要使用 parquet CLI 查看 parquet 文件的元数据，我们执行： parquet-cli meta <path-to-parquet-file> 此输出将首先显示一个包含文件信息的标头： File path: 128_row_group.parquet Created by: parquet-mr ...
github-bigdata:用于将 json 文件从 githubarchive.org 转换为 .parquet 文件的 PoC
06-08
标题中的“github-bigdata”项目是一个证明概念（Proof of Concept, PoC）示例，它展示了如何将从githubarchive.org获取的JSON数据转换为Parquet文件格式。Parquet是一种高效、跨平台的数据存储格式，特别适合大数据...
用于检查 Parquet 文件的命令行工具
06-28
pqrspqrs是用于检查Parquet文件的命令行工具这是用 Rust 编写的parquet-tools实用程序的替代品使用Parquet和Arrow的 Rust 实现构建pqrs大致意思是“生锈的镶木地板工具”安装推荐方法您可以在此处下载发布二进制文件替代方法使用自制软件对于 macOS 用户，pqrs可用作自制程序。brew tap manojkarthick/pqrs brew install pqrs使用尼克斯如果你是一个nix的用户，可以安装pqrs从nixpkgsnix-env --install pqrs从源代码构建和运行确保你的机器上安装了rustc和cargo 。git clone https://github.com/manojkarthick/pqrs.git cargo build --release ./target/release/pqrs跑步以下代码段显示了可用的子命令：❯ pqrs --help pqrs 0.1.1 Manoj Karthick Apache Parquet command-line utility USAGE: pqrs [
ParquetViewer:用于查看和查询Apache Parquet文件的简单Windows桌面应用程序
05-02
实木复合地板查看器 一个简单的Windows桌面应用程序，用于查看和查询Apache Parquet文件。 另请查阅Wiki以获取详细的用户指南： : 概括 这是我创建的一种快速而肮脏的实用程序，可以轻松地在Windows台式机上查看Apache Parquet文件。 如果您想添加任何新功能，请随时发送请求请求。 一些主要功能： 在文件块上运行简单的类似SQL的查询 为打开的文件生成ansi sql模式 局限性 此应用程序只能打开运行该应用程序的Windows计算机上的Parquet文件。 它无法连接到HDFS来读取镶木地板数据。 目前不支持结构，数组和映射之类的复杂类型。 下载 预编译的版本可以在这里找到： : 访问Wiki了解有关如何使用该实用程序的详细信息： : 技术细节 该项目的最新版本是使用Visual Studio 2019和.NET 4.6.1用C＃编
Parquet 文件生成和读取
小强签名设计 的博客
02-26 3533
这种方式的 User 实体类和上面方式的 schema.avsc 文件中的。
4.3Spark SQL数据源-Parquet文件
qq_65274143的博客
06-15 1442
Apache Parquet是Hadoop生态系统中任何项目都可以使用的列式存储格式，不受数据处理框架、数据模型和编程语言的影响。Spark SQL支持对Parquet文件的读写，并且可以自动保存源数据的Schema。当写入Parquet文件时，为了提高兼容性，所有列都会自动转换为“可为空”状态。
0631-6.2-如何确认一个Parquet文件是否被压缩
张伟的专栏
05-07 382
1 环境准备 测试环境： 1.CDH6.2 2.集群已开启Kerberos 3.Redhat7.4 1.准备一张文本表，数据文件约6GB。 create table if not exists hive_table_test ( s1 string, s2 string, s3 string, s4 string, s5 string, s6 string, s7 string, s8 string, s9 string, s10 string, s11 string ) ROW FORMAT ...
查看parquet文件工具parquet-tools
weixin_42176112的博客
12-21 6232
文章目录下载地安装用法用法示例 下载地 下载 安装 pip install parquet-tools 用法 $ parquet-tools --help usage: parquet-tools [-h] {show,csv,inspect} ... parquet CLI tools positional arguments: {show,csv,inspect} show Show human readble format. see `show -h`
hdfs或hive的snappy.parquet文件查看
wuchongyong的博客
08-17 3108
parquet 文件打开
【spark】命令行查看parquet文件内容
远方不远
09-21 9551
1，进入spark shell ./spark-shell 2，执行以下操作读取parquet文件 val sqlContext = new org.apache.spark.sql.SQLContext(sc) val parquetFile = sqlContext.parquetFile("/home/neunntest/hdfs/dataSet/2018-1-2/iris201...
如何将java吧execl转换成.parquet文件
03-08
您可以使用Apache POI和Apache Parquet库来将Java中的Excel文件转换为Parquet文件。首先，您需要使用POI库读取Excel文件中的数据，然后将其转换为Parquet格式并写入Parquet文件。您可以使用ParquetWriter类来写入Parquet文件。以下是一个示例代码片段： ``` // 导入所需的库 import org.apache.poi.ss.usermodel.*; import org.apache.poi.xssf.usermodel.XSSFWorkbook; import org.apache.parquet.hadoop.ParquetWriter; import org.apache.parquet.hadoop.metadata.CompressionCodecName; import org.apache.parquet.schema.MessageType; import org.apache.parquet.schema.MessageTypeParser; import org.apache.parquet.schema.Types; // 读取Excel文件 Workbook workbook = new XSSFWorkbook(new FileInputStream("input.xlsx")); Sheet sheet = workbook.getSheetAt(); // 定义Parquet文件的模式 MessageType schema = MessageTypeParser.parseMessageType("message ExcelData {\n" + " required binary column1;\n" + " required binary column2;\n" + "}"); // 创建Parquet文件的写入器 ParquetWriter<GenericRecord> writer = AvroParquetWriter.<GenericRecord>builder(new Path("output.parquet")) .withSchema(schema) .withCompressionCodec(CompressionCodecName.SNAPPY) .withDataModel(GenericData.get()) .build(); // 将Excel数据转换为Parquet格式并写入Parquet文件 for (Row row : sheet) { GenericRecord record = new GenericData.Record(schema); record.put("column1", row.getCell().getStringCellValue()); record.put("column2", row.getCell(1).getStringCellValue()); writer.write(record); } // 关闭写入器 writer.close(); ``` 请注意，您需要将上述代码中的输入和输出文件路径替换为您自己的路径。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值