parquet-tools工具使用和源码依赖包编译

已于 2024-08-28 10:57:30 修改
阅读量805 收藏 12
点赞数 22
文章标签： 数据仓库 java maven
于 2024-08-28 09:30:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010764629/article/details/141627838
版权

1. wesleypeck编写的开源parquet-tools

parquet-tools出现org/apache/hadoop/conf/Configuration问题的解决

​ 该版本由于原作者不在进行更新，目前网上能够找到的版本大部分无法使用，原因在于源码中pom.xml并没有引入对应hadoop-core的依赖，导致jar包在执行对应命令时会报错：
NoClassDefFoundError: org/apache/hadoop/conf/Configuration

2.自己下载源码包编译

在https://mvnrepository.com官网下载源码包，下载Apache Parquet Tools即可

3.开始编译

打开源码包在org.apache.parquet.tools目录下有入口类Main.class，这个类就是工具的入口类；把源码和pom.xml放入自己的工程内，编译是选择带依赖编译。我在编译是程序多个报错，可能是我的环境问题，我有多加了几个依赖项。编译是指定包内的入口类为打包的mainclass。

我下载的是parquet-tools-1.11.2-sources.jar这个版本，我已经编译成功，下面是完整的依赖环境：

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <groupId>parquet-tools</groupId>
    <artifactId>parquet-tools</artifactId>
    <version>0.0.1-SNAPSHOT</version>

    <dependencies>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.7.3</version>
            <scope>provided</scope>
            <exclusions>
               <exclusion>
                    <artifactId>hadoop-common</artifactId>
                    <groupId>org.apache.hadoop</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>hadoop-hdfs</artifactId>
                    <groupId>org.apache.hadoop</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>hadoop-mapreduce-client-app</artifactId>
                    <groupId>org.apache.hadoop</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>hadoop-yarn-api</artifactId>
                    <groupId>org.apache.hadoop</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>hadoop-mapreduce-client-core</artifactId>
                    <groupId>org.apache.hadoop</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>hadoop-mapreduce-client-jobclient</artifactId>
                    <groupId>org.apache.hadoop</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>hadoop-annotations</artifactId>
                    <groupId>org.apache.hadoop</groupId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.12</version>
            <scope>test</scope>
            <exclusions>
                <exclusion>
                    <artifactId>hamcrest-core</artifactId>
                    <groupId>org.hamcrest</groupId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>org.easymock</groupId>
            <artifactId>easymock</artifactId>
            <version>3.4</version>
            <scope>test</scope>
            <exclusions>
                <exclusion>
                    <artifactId>objenesis</artifactId>
                    <groupId>org.objenesis</groupId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>commons-httpclient</groupId>
            <artifactId>commons-httpclient</artifactId>
            <version>3.1</version>
            <scope>test</scope>
            <exclusions>
                <exclusion>
                    <artifactId>commons-logging</artifactId>
                    <groupId>commons-logging</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>commons-codec</artifactId>
                    <groupId>commons-codec</groupId>
                </exclusion>
            </exclusions>
        </dependency>


      <!--  <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-core</artifactId>
            <version>1.2.1</version>
        </dependency>-->
        <dependency>
            <groupId>org.apache.parquet</groupId>
            <artifactId>parquet-column</artifactId>
            <version>1.12.3</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client-runtime</artifactId>
            <version>3.3.4</version>
        </dependency>
        <dependency>
            <groupId>com.fasterxml.jackson.core</groupId>
            <artifactId>jackson-databind</artifactId>
            <version>2.14.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.parquet</groupId>
            <artifactId>parquet-hadoop</artifactId>
            <version>1.12.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.curator</groupId>
            <artifactId>curator-client</artifactId>
            <version>4.2.0</version>
        </dependency>
        <dependency>
            <groupId>commons-cli</groupId>
            <artifactId>commons-cli</artifactId>
            <version>1.5.0</version> <!-- 根据实际情况选择合适的版本 -->
        </dependency>
    </dependencies>


    <build>
        <!-- <sourceDirectory>src/main/java</sourceDirectory> -->

        <plugins>
            <plugin>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.3</version>
                <configuration>
                    <source>1.8</source>
                    <target>1.8</target>
                </configuration>
            </plugin>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-surefire-plugin</artifactId>
                <version>2.12.4</version>
                <configuration>
                    <skipTests>true</skipTests>
                </configuration>
            </plugin>

            <!--将数据资源-->
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-resources-plugin</artifactId>
                <version>3.0.1</version>
                <configuration>
                    <encoding>UTF-8</encoding>
                </configuration>
            </plugin>

            <!--该插件用于将scala代码编译成class文件-->
            <plugin>
                <groupId>net.alchim31.maven</groupId>
                <artifactId>scala-maven-plugin</artifactId>
                <version>3.2.2</version>
                <executions>
                    <!--绑定到maven的编译阶段-->
                    <execution>
                        <goals>
                            <goal>compile</goal>
                            <goal>testCompile</goal>
                        </goals>
                        <configuration>
                            <args>
                                <arg>-dependencyfile</arg>
                                <arg>${project.build.directory}/.scala_dependencies</arg>
                            </args>
                        </configuration>
                    </execution>
                </executions>
            </plugin>

            <!--指定源代码目录-->
            <plugin>
                <groupId>org.codehaus.mojo</groupId>
                <artifactId>build-helper-maven-plugin</artifactId>
                <version>3.2.0</version>
                <executions>
                    <execution>
                        <id>add-source</id>
                        <phase>generate-sources</phase>
                        <goals>
                            <goal>add-source</goal>
                        </goals>
                        <configuration>
                            <sources>
                                <source>src/main/java</source>
                                <source>src/main/scala</source>
                            </sources>
                        </configuration>
                    </execution>
                </executions>
            </plugin>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-assembly-plugin</artifactId>
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>single</goal>
                        </goals>
                        <configuration>
                            <archive>
                                <manifest>
                                    <mainClass>
                                        org.apache.parquet.tools.Main
                                    </mainClass>
                                </manifest>
                            </archive>
                            <descriptorRefs>
                                <descriptorRef>jar-with-dependencies</descriptorRef>
                            </descriptorRefs>
                        </configuration>
                    </execution>
                </executions>
            </plugin>

        </plugins>
    </build>
</project>

Joey.Hawking
关注
flink-1.12.0源码编译
科学的N次方
01-11 1829
mvn clean install -DskipTests -Drat.skip=true -Dcheckstyle.skip=true -Dscala=2.11.12
parquet_tools-0.2.5.tar.gz
08-16
parquet_tools
parquet-tools-1.6.0rc3.zip
07-24
parquet-tools-1.6.0rc3-SNAPSHOT.jar是一个查看parquet数据文件schema的工具，github地址：https://github.com/apache/parquet-mr/tree/master/parquet-tools?spm=5176.doc52798.2.6.H3s2kL 下载后mvn编译。附件是编译好的文件。
parquet-tools.jar
02-09
查看parquet文件工具 使用方式：java -jar xxx.jar usage: parquet-tools cat [option...] <input> where option is one of: --debug Enable debug output -h,--help Show this help string -j,--json Show records in JSON format. --no-color Disable color output even if supported where <input> is the parquet file to print to stdout usage: parquet-tools head [option...] <input> where option is one of: --debug Enable debug output -h,--help Show this help
parquet-tools-1.6.0rc3-SNAPSHOT.jar
06-12
查看hive中parquet格式文件的工具包,
parquet-tools工具使用
一名程序猿的博客
02-09 1904
parquet-tools工具的使用及出现的问题解决
无需python查看parquet文件
09-15
无需ppython查看parquet文件内容。 源码下载地址： https://github.com/apache/parquet-mr 编译： cd parquet-tools && mvn clean package -Plocal 使用方式： （1）查看schema java -jar parquet-tools-1.8.2.jar ...
parquet列式存储格式
Tangor小屋
02-27 1418
一、历史背景 Parquet是Hadoop生态圈中主流的列式存储格式，它使用 Google 的 Dremel 论文中概述的技术，列式存储嵌套的数据结构（传说中3秒查询1PB的数据）。最早是由Twitter和Cloudera合作开发，当时Twitter的日增压缩的数据量达到100TB+，存储在HDFS上，他们会使用多种计算框架（例如MapReduce、Hive、Pig等）对这些数据做分析和挖掘；日志结构是复杂的嵌套数据类型，例如一个典型的日志schema有87列，嵌套了7层。所以需要设计一种列式存储格式，既能
Parquet的那些事（一）基本原理
热门推荐
茅庐
03-09 1万+
本文阐述了Parquet的价值、基本文件结构、Predicate Pushdown Filter特性以及常用的工具。
DevOps-Python-tools：80多种DevOps和数据CLI工具-AWS，GCP，GCF Python云函数，日志匿名器，Spark，Hadoop，HBase，Hive，Impala，Linux，Docker，Spark数据转换器和验证器（AvroParquetJSONCSVINIXMLYAML），Travis CI，AWS CloudFormation，Elasticsearch，Solr等
01-30
Hari Sekhon-DevOps Python工具 AWS，Docker，Spark，Hadoop，HBase，Hive，Impala，Python和Linux工具 ...从源代码自动构建 安装git，make，提取仓库并构建依赖项： curl -L https://git.io/python-boot
用于检查 Parquet 文件的命令行工具
06-28
pqrspqrs是用于检查Parquet文件的命令行工具这是用 Rust 编写的parquet-tools实用程序的替代品使用Parquet和Arrow的 Rust 实现构建pqrs大致意思是“生锈的镶木地板工具”安装推荐方法您可以在此处下载发布二进制文件替代方法使用自制软件对于 macOS 用户，pqrs可用作自制程序。brew tap manojkarthick/pqrs brew install pqrs使用尼克斯如果你是一个nix的用户，可以安装pqrs从nixpkgsnix-env --install pqrs从源代码构建和运行确保你的机器上安装了rustc和cargo 。git clone https://github.com/manojkarthick/pqrs.git cargo build --release ./target/release/pqrs跑步以下代码段显示了可用的子命令：❯ pqrs --help pqrs 0.1.1 Manoj Karthick Apache Parquet command-line utility USAGE: pqrs [
Parquet-Tools 使用教程
最新发布
gitblog_00887的博客
08-16 399
Parquet-Tools 使用教程 parquet-toolseasy install parquet-tools项目地址:https://gitcode.com/gh_mirrors/pa/parquet-tools 1. 项目目录结构及介绍 在https://github.com/ktrueda/parquet-tools.git中，Parquet-Tools 的目录结构大致如下： . ├...
Parquet原理
worldchinalee的博客
09-20 1万+
在互联网大数据应用场景下，通常数据量很大且字段很多， 但每次查询数据只针对其中的少数几个字段，这时候列式存储是极佳的选择。 列式存储要解决的问题： 把IO只给查询需要用到的数据 只加载需要被计算的列 空间节省 列式的压缩效果更好 可以针对数据类型进行编码 开启矢量化的执行引擎(不再1条1条的处理数据，而是一次处理1024条数据) Parquet和ORC是两种列式存储格式 ...
查看parquet文件格式内容
xiweihao的博客
03-31 1982
1. 下载对应的parquet-tools jar:http://logservice-resource.oss-cn-shanghai.aliyuncs.com/tools/parquet-tools-1.6.0rc3-SNAPSHOT.jar?spm=5176.doc52798.2.7.H3s2kL&file=parquet-tools-1.6.0rc3-SNAPSHOT.jar g...
parquet-tools用法详解
bitcarmanlee的博客
12-11 4428
因为是压缩格式，我们无法直接查看parquet文件里的数据，这个时候parquet-tools就给我们提供了一个方便的途径对parquet文件进行查看。从上面的输出可以看出来，meta参数输出的信息，比schema参数输出信息更详尽，可以看到数据的压缩方式，是否压缩，数据的null值数量，min/max值等。对于parquet文件，第一下我们可能需要了解的就是元信息，这个时候通过schema/meta参数就可以实现查看元信息。cat命令可以查看数据里面的内容，用法与linux系统中的cat用法类似。
简单的 parquet 读取工具 parquet-tools 安装与使用
专注数据库、大数据领域干货分享，用严谨的数据技术广交天下朋友。
03-01 2596
本文介绍的 parquet-tools 工具需要使用 python 和 pip，安装和使用起来也比较简单。
linux怎么安装parquet-tools
04-04
以下是在Linux中安装Parquet-Tools的步骤： 1. 安装Java 确保在系统上安装了Java。您可以通过在终端中输入以下命令来检查Java是否已安装： ``` java -version ``` 如果Java已安装，则会显示Java版本信息。如果未安装，则需要先安装Java。 2. 下载Parquet-Tools 您可以从官方网站下载Parquet-Tools。下载页面为： https://github.com/apache/parquet-mr/tree/master/parquet-tools 选择最新版本并下载。 3. 解压文件 将下载的文件解压缩到您选择的目录中。您可以使用以下命令解压缩： ``` tar -xvf parquet-tools-<version>.tar.gz ``` 4. 配置环境变量 在解压文件的目录下，打开终端并使用以下命令将Parquet-Tools的bin目录添加到PATH环境变量中： ``` export PATH=$PATH:/path/to/parquet-tools-<version>/bin ``` 请务必将“/path/to/parquet-tools-<version>/bin”替换为您下载的Parquet-Tools的实际路径。 5. 测试安装 在终端中输入以下命令以测试是否成功安装Parquet-Tools： ``` parquet-tools --help ``` 如果Parquet-Tools已成功安装，则会显示帮助文档。如果未成功安装，则需要检查前面的步骤并重新尝试安装。 以上是在Linux中安装Parquet-Tools的步骤。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值