hadoop
文章平均质量分 60
sanhongbo
这个作者很懒,什么都没留下…
展开
-
hive使用技巧-日期区间合并
将同一用户的多段连续日期范围,进行合并。要合并成。原创 2023-11-07 19:19:35 · 351 阅读 · 0 评论 -
parquet 文件结构
Apache Parquet是Apache Hadoop生态系统的一种免费的开源面向列的数据存储格式。 它类似于Hadoop中可用的其他列存储文件格式,如RCFile格式和ORC格式。本文将简单介绍一下Parquet文件的结构。Parquet文件格式包含两部分:datametadata数据首先写入文件,元数据最后写入单遍(single pass)写入。 首先让我们看一下Parquet文件的格式,然后再看一下元数据。文件格式HEADER从整体上讲,Parquet包含一个header,一个或多个转载 2022-03-14 20:15:33 · 926 阅读 · 0 评论 -
docker安装Hadoop集群(macOS)
本文章主要介绍在macos的docker搭建hadoop集群的简单记录,没有对安装docker,下载hadoop安装包等做过多的介绍。如果感性兴趣可自行查阅相关文章(比较基础)。创建docker网桥本文也没有介绍,最好先了解一下网桥相关知识。原创 2021-03-06 14:52:11 · 1835 阅读 · 0 评论