Parquet_4. 列式存储总结 -- 待完善

最新推荐文章于 2023-10-28 20:41:49 发布
最新推荐文章于 2023-10-28 20:41:49 发布
阅读量623 收藏
点赞数
分类专栏： Parquet
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Mike_H/article/details/50199863
版权

整理于》Columnar storage


具体内容将会在后续进行完善，敬请期待

Mike_H
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Parquet_2. 在 Impala/Hive 中使用 Parquet 格式存储数据
Mike han
12-03 1万+
在之前我们已经介绍过在 Hive 中使用 Avro，Parquet 格式来存储数据。今天我们将介绍一下如何在 Impala中使用 Parquet 格式。 1. 跟 Hive 中一样，我们在创建表的时候可以通过 STORED AS PARQUET 语句来指定文件的存储格式。 CREATE TABLE stocks_parquet LIKE stocks STORED AS PARQUET
Hive_10. Hive中常用的 SerDe 和 当前社区的状态
Mike han
12-03 1万+
最近在 Google 上看到一篇在 Hive 中利用正则表达式来自定义反序列化处理文本文件。百度后发现这块知识目前还没有人系统的总结一下。 所以我就不才把之前记录的资料跟大家分享一下： SerDe 是Serializer 和 Deserializer 的简称。它是 Hive用来处理记录并且将它们映射到 Hive 表中的字段数据类型。为了更好的阐述使用 SerDe 的场景，我们需要了解一下 Hi
大数据面试通关手册 | Kylin入门/原理/调优/OLAP解决方案和行业典型应用
微信搜：import_bigdata，大数据领域硬核原创作者
06-22 1055
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源【硬刚系列】是针对某一个框架/知识点进行的系统性总结和学习，基本上也是个人学习的必要路径。个人会从一个框架/知识点入手进行全方位的...
数仓开发面试题-Spark
最新发布
话数Science
10-28 134
和Parquet类似，ORC文件也是以二进制方式存储的，所以是不可以直接读取，ORC文件也是自解析的，它包含许多的元数据，这些元数据都是同构ProtoBuffer进行序列化的。通过这三种文件存储格式的测试对比，ORC文件存储格式无论是在空间存储、导数据速度还是查询速度上表现的都较好一些，并且ORC可以一定程度上支持ACID操作，社区的发展目前也是Hive中比较提倡使用的一种列式存储格式，另外，本次测试主要针对的是Hive引擎，所以不排除存在Hive与ORC的敏感度比PARQUET要高的可能性。
8年互联网老兵，2个月面试20家大厂的知识点总结和建议
热门推荐
敖丙
03-17 2万+
详细到令人发指，老哥靠不断总结还是去了大公司拿到27kOffer
impala的详细介绍--图文描述
wyz0516071128的博客
07-25 1万+
Impala 是参照google 的新三篇论文Dremel(大批量数据查询工具)的开源实现，功能类似shark（依赖于hive）和Drill（apache），impala 是clouder 公司主导开发并开源，基于hive 并使用内存进行计算，兼顾数据仓库，具有实时，批处理，多并发等优点。是使用cdh 的首选PB 级大数据实时查询分析引擎。（Impala 依赖cdh 是完全没有问题的，官网说可以...
flink-parquet_2.11-1.10.0-API文档-中文版.zip
04-23
赠送jar包：flink-parquet_2.11-1.10.0.jar； 赠送原API文档：flink-parquet_2.11-1.10.0-javadoc.jar； 赠送源代码：flink-parquet_2.11-1.10.0-sources.jar； 赠送Maven依赖信息文件：flink-parquet_2.11-1.10.0....
flink-1.14.5-bin-scala_2.12.tgz
08-15
flink-1.14.5-bin-scala_2.12.tgz
flink-parquet_2.11-1.10.0.jar中文-英文对照文档.zip
03-11
注：下文中的 *** 代表文件名中的组件名称。 # 包含： 中文-英文对照文档：【***-javadoc-API文档-中文(简体)-英语-对照版.zip】 jar包下载地址：【***.jar下载地址(官方地址+国内镜像地址).txt】 ...
flink-parquet_2.11-1.12.7.jar中文-英文对照文档.zip
03-04
注：下文中的 *** 代表文件名中的组件名称。 # 包含： 中文-英文对照文档：【***-javadoc-API文档-中文(简体)-英语-对照版.zip】 jar包下载地址：【***.jar下载地址(官方地址+国内镜像地址).txt】 ...
parquet-tools.jar
02-09
查看parquet文件工具 使用方式：java -jar xxx.jar usage: parquet-tools cat [option...] where option is one of: --debug Enable debug output -h,--help Show this help string -j,--json Show records in ...
Hadoop 过滤,映射,谓词下推基本概念
Mike han
12-02 8614
本文中涉及的源码地址：https://github.com/Hanmourang/hiped2/blob/master/src/main/java/hip/ch6/joins/FilterProjection.java 今天想跟大家讨论一下以下几个概念：Filter , Projections, 和 Puchdowns。 1. Filter（过滤） 和 Project（映射）  在传统的
Parquet_7. 通过命令行来读取 Parquet 文件 -- 待完善
Mike han
12-06 3225
具体内容将会在后续进行完善，敬请期待
Hive_1. 数据存储 & 压缩
Mike han
11-29 2912
Github 源码：https://github.com/Hanmourang
Parquet_1. 使用谓词下推和映射来优化 Job
Mike han
12-03 2611
Github 源码：https://github.com/Hanmourang
Parquet_5. SequenceFile vs ORC File vs Parquet File -- 待完善
Mike han
12-06 2067
本节将跟大家探讨一下 SequenceFile 和 ORC File 和 Parquet File的区别与联系 具体内容将会在后续进行完善，敬请期待
Hadoop 列式存储引擎
Mike han
12-01 1605
相比传统的行式存储引擎，列式存储引擎具有更高的压缩比，更少的IO操作而备受青睐（注：列式存储不是万能高效的，很多场景下行式存储仍更加高效），尤其是在数据列（column）数很多，但每次操作仅针对若干列的情景，列式存储引擎的性价比更高。 在互联网大数据应用场景下，大部分情况下，数据量很大且数据字段数目很多，但每次查询数据只针对其中的少数几行，这时候列式存储是极佳的选择，目前在开源实现中，最有名的列
Parquet_8. MapReduce & Parquet -- 待完善
Mike han
12-06 1414
具体内容将会在后续进行完善，敬请期待
set hive.exec.dynamic.partition.mode=nonstrict; set hive.exec.parallel=true; set hive.exec.parallel.thread.number=30; --drop table if exists dm_finrisk.dm_event_walletSettleSuccessEvent_di; create table if not exists dm_finrisk.dm_event_cashLoanEvent_di( event_uuid string ,event_code string ,dt string ,event_time string ,rawSnapshot string ) COMMENT 'cashLoanEvent' PARTITIONED BY ( day bigint)stored as parquet; drop table if exists tmp.tmp_dm_event_cashLoanEvent_di_01_${zdt.addDay(-1).format("yyyyMMdd")}; create table if not exists tmp.tmp_dm_event_cashLoanEvent_di_01_${zdt.addDay(-1).format("yyyyMMdd")} as select uuid as event_uuid ,event as event_code ,from_unixtime(unix_timestamp(cast(day as string),'yyyymmdd'),'yyyy-mm-dd') as dt ,from_unixtime(cast(cast(`time` AS BIGINT)/1000 AS BIGINT),'yyyy-MM-dd HH:mm:ss') as event_time ,get_json_object(data,'$.hotPublish.rawSnapshot') as rawSnapshot from dm_finrisk.ods_event_hdfs_snapshot_di where code = 'shield@cashLoanEvent' and day=${zdt.addDay(-1).format("yyyyMMdd")} drop table if exists tmp.tmp_dm_event_cashLoanEvent_di_02_${zdt.addDay(-1).format("yyyyMMdd")}; create table if not exists tmp.tmp_dm_event_cashLoanEvent_di_02_${zdt.addDay(-1).format("yyyyMMdd")} as select event_uuid ,event_code ,dt ,event_time ,rawSnapshot from tmp.tmp_dm_event_cashLoanEvent_di_01_${zdt.addDay(-1).format("yyyyMMdd")}; alter table dm_finrisk.dm_event_cashLoanEvent_di drop if exists partition (day = ${zdt.addDay(-1).format("yyyyMMdd")}); insert overwrite table dm_finrisk.dm_event_cashLoanEvent_di partition (day = ${zdt.addDay(-1).format("yyyyMMdd")}) select event_uuid ,event_code ,dt ,event_time ,rawSnapshot from tmp.tmp_dm_event_cashLoanEvent_di_02_${zdt.addDay(-1).format("yyyyMMdd")}分析下上面代码
06-08
上面的代码主要是一个HiveQL脚本，用于从`dm_finrisk.ods_event_hdfs_snapshot_di`表中提取`code`为`shield@cashLoanEvent`且`day`为昨天日期的数据，并将其存储到`dm_finrisk.dm_event_cashLoanEvent_di`表中的对应...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值