【大数据面试题】006介绍一下Parquet存储格式的优势

已于 2024-02-14 00:08:39 修改
阅读量466 收藏 7
点赞数 11
分类专栏： 一天一道面试题 文章标签： 大数据 spark hadoop
于 2024-02-14 00:07:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Jiweilai1/article/details/136110715
版权

一步一个脚印，一天一道面试题

列式存储

同一列的数据是同一种数据类型，所以压缩比例可以更高。同时一般查询使用时不会使用所有列，而是只用到几列，所以查询速度会更快

压缩比例高

因为是列式存储，所以可以对同一类型的一段做压缩，压缩比例高

支持的平台和框架多

在 Hadoop, Spark, Presto, Python 等都支持，所以 Parquet 文件可以在不同系统和语言通用。这是我觉得比较实在的优势

及未来
关注
专栏目录
2023大数据面试真题(持续更新)
我的祖传代码
07-04 3万+
5.有两个数据源，一个记录的是广告投放给用户的日志，一个记录用户访问日志，另外还有一个固定的用户基础表记录用户基本信息（比如学历，年龄等等）。9.线上业务每天产生的业务日志（压缩后>=3G），每天需要加载到hive的log表中，将每天产生的业务日志在压缩之后load到hive的log表时，最好使用的压缩算法是哪个,并说明其原因。为什么不用 Hive 默认的分隔符，默认的分隔符是什么？41.有一千万条短信，有重复，以文本文件的形式保存，一行一条数据，请用五分钟时间，找出重复出现最多的前10条。
2024大数据面试题汇总(完善中。。。)
为人性僻 语不惊人
06-18 1332
自己汇总的面试题，涉及到大数据的常用组件，将持续更新... ... 部分图片不全，后期继续完善 更新记录: 2024-6-18 初版0.1.0 :hadoop，hbase，doris，hive，mysql，es 2024-6-26 1.0.0 : java，spark，redis，kafka，flink，kafka，数据仓库
Parquet文件格式问答
鸭梨的博客
04-15 2622
在Parquet文件格式中，行组（Row Group）是一个逻辑单位，用于组织一组行（Record）和多个列（Column）的数据。行组包含了多个列的数据页（Data Page）以及对应的定义页（Definition Page），它们具有相同的行数和行顺序，并且使用相同的压缩算法和编码方式进行压缩。行组的主要作用是将一个大的数据集划分为多个较小的块，以便于处理和存储。通过将数据分组为多个行组，可以提高数据读取和查询的效率，同时也可以降低内存和磁盘的使用量，从而更好地支持大规模数据处理和分析。
Parquet使用指南：一个超越CSV、提升数据处理效率的存储格式
WHYbeHERE的博客
05-23 6453
在大数据时代，数据存储和处理的效率越来越重要。同时，我们在工作中处理的数据也越来越多，从excel格式到csv格式，从文件文档传输到直接从数据库提取，数据单位也从K到M再到G。当数据量达到了G以上，几G甚至几十G，在使用python时就能察觉到数据处理效率在变慢。在这种情况下有什么更好的解决方法吗？
为什么我们选择parquet
weixin_30387339的博客
05-08 1122
说明：此方案已经我们已经运行1年。 1、场景描述： 我们对客户登录日志做了数据仓库，但实际业务使用中有一些个共同点， A 需要关联维度表 B 最终仅取某个产品一段时间内的数据 C 只关注其中极少的字段 基于以上业务，我们决定每天定时统一关联维度表，对关联后的数据进行另外存储。各个业务直接使用关联后的数据进行离线计算。 2、择parquet的外部因素 在各种列存储中，我们最终选择...
大数据高频面试题之Hive的数据存储格式
王傲旗的大数据之路
04-15 328
类型 texfile：默认的存储格式：普通的文本文件，数据不压缩，磁盘的开销比较大，分析开销大。 sequencefile：提供的一种二进制存储格式，可以切割，天生压缩。 rcfile：提供的是一种行列混合存储方式，该方式会把相近的行和列数据放在一块儿，存储比较耗时，查询效率高，也天生压缩。 orc：是rcfile的一种优化存储。 parquet：自定义输入输出格式。 具体描述 1）texfile普通文本文件（通常默认的就是这个格式） 创建表 create table if not exists one (
《大数据面试题》面试大数据这一篇就够了
热门推荐
abluer~的博客
05-05 6万+
《大数据面试题》面试大数据这一篇就够了 Hadoop 常见面试题 Hive 常见面试题 Spark 常见面试题 Flume 常见面试题 Kafka 常见面试题 Hbase 常见面试题 Redis 20 问
2023大数据面试题+附答案
大数据-攻城狮
04-26 8152
2023大数据面试题+附答案。
2024大数据面试题+附答案
2401_84164503的博客
04-26 828
24. Flink支持各种分布式计算模式，如批处理、流处理、机器学习、图计算等，具体选择需要根据任务需求和场景来判断。23. Flink支持数据流、批处理、增量处理等多种数据处理模式，具体选择需要根据任务需求和场景来判断。21. Flink支持实时推荐、监控分析、基于统计结果的异常检测等实时数据处理案例。
大数据面试题
02-11
### 大数据面试题知识点详解 #### 数据仓库与数据中心规划 1. **数据中心规划要点**： - **硬件选择**：根据数据量级选择合适的服务器、存储设备等。 - **网络架构**：构建高可用性和低延迟的网络环境。 - **...
【面试宝典】2021年超全超详细的最新大数据开发面试题，附答案解析(一版).pdf
05-11
### 大数据开发面试知识点详解 #### Hadoop **1. HDFS读写流程** - **读取流程：** - 客户端发起读请求给NameNode。 - NameNode根据元数据信息找到文件块所在的DataNode。 - NameNode返回DataNode地址列表给...
Hadoop和hive大数据面试题
05-20
此外，大数据面试题可能还会涵盖其他相关技术，如HBase、Spark、Pig、Flume、Sqoop等，以及大数据生态系统中的数据流处理、实时分析、数据治理等方面的问题。熟悉这些技术的使用场景、优缺点以及它们与Hadoop和Hive...
Hadoop之WordCount测试
最新发布
月亮的技术博客
10-04 465
Hadoop是Apache旗下的一个用Java语言实现的开源软件框架，是一个开发和运行处理大规模数据的软件平台。Hadoop的核心组件包括Hadoop分布式文件系统（HDFS）和MapReduce编程模型。HDFS是一个高度容错的系统，用于存储大规模数据集，具有高可靠性、高扩展性和高吞吐率的特点。MapReduce则是一个用于处理这些数据集的编程模型，它简化了并行编程的复杂性，使得开发者可以专注于业务逻辑的实现。Hadoop的优势在于其高可靠性、高扩展性、高效性、高容错性以及低成本。
大数据分析入门概述
m0_47498690的博客
10-04 1840
本文旨在为有意向学习数据分析、数据开发等大数据方向的初学者提供一个学习指南，当然如果你希望通过视频课程的方式快速入门，B站UP主戴戴戴师兄的课程质量很高，并且适合初学者快速入门。本文的目的旨在为想要了解大数据但不知道该学习什么内容的初学者介绍大数据相关的各类工具以及各项技能。后续会按照本文提到的关键字逐条更新更详细的内容以及具体案例。SQL（Structured Query Language）是一种标准化的编程语言，用于管理关系数据库管理系统（RDBMS），如MySQL、PostgreSQL、Oracle、
netty之SpringBoot+Netty+Elasticsearch收集日志信息数据存储
CSDN_LiMingfly的博客
10-04 331
将大量的业务以及用户行为数据存储起来用于分析处理，但是由于数据量较大且需要具备可分析功能所以将数据存储到文件系统更为合理。尤其是一些互联网高并发级应用，往往数据库都采用分库分表设计，那么将这些分散的数据通过binlog汇总到一个统一的文件系统就显得非常有必要。#开发环境环境准备windows安装包 下载注意 es是以来java环境 所以需要安装jdk 支持1.7以上es-hander下载可视化操作插件@Id//姓名//年龄//级别//时间//电话//邮箱//地址。
ElasticSearch备考 -- 查询模版
麦田守望者
10-02 651
查询模版，这在日常工作中用到的比较少，需要注意写法和格式，多联系参数外层需要通过双引号包裹，"{{param}}"不用包裹双引号的有：参考资料送一波福利：福利一有需要内推JD的同学，可以私信或留言，我帮您内推，流程快！！！有需要内推JD的同学，可以私信或留言，我帮您内推，流程快！！！有需要内推JD的同学，可以私信或留言，我帮您内推，流程快！！！福利二福利三。
项目管理-信息技术发展
GAVIN
10-04 227
对称加密：DES 3DES AES RC5 IEDA SM1 SM4。2）分类：PAN LAN MAN WAN 公用网 专用网。4）数据结构模型 层次模型 网状模型 关系模型。1)存储 分类：DAS FAS NAS SAN。物联网（IoT） 感知层 网络层 应用层。8） 5G 高速率 低时延 大连接。设备安全 数据安全 内容安全 行为安全。4.信息安全 保密性 完整性 可用性。3）网络协议 语法 语义 时许。5）IEEE 802 规范。6）TCP/IP 协议。4）网络标准协议 7层。
当微服务中调度返回大数据量时如何处理
ZDFXN的博客
09-27 731
总之，当需要返回大数据量时，可以根据具体的需求和技术特点选择合适的方案。同时，通过限制每页显示的数据条数，可以减少网络传输的负担。同时，通过分布式计算，可以实现数据的并行处理，提高处理效率。同时，通过异步处理，可以避免阻塞主线程，提高系统的并发能力。适用场景：适用于需要实时处理大量数据的场景，如电商网站的实时交易监控、物联网设备的数据采集等。适用场景：适用于需要展示大量数据列表的场景，如电商平台的商品列表、社交媒体的动态列表等。适用场景：适用于需要频繁读取同一份数据的场景，如用户信息查询、热点数据统计等。
大数据文件格式与Hadoop压缩算法详解
"这篇博客文章主要探讨了大数据环境中的文件存储格式和Hadoop支持的压缩算法，涵盖了多种常见的文件格式，如TextFile、SequenceFile、Avro File等，以及压缩算法snappy、lz4、gzip和lzo。" 在大数据处理中，文件...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值