存储格式
- textfile: 默认格式.存储为行存储
- ORCfile:按照行分块,按照列存储,特点数据压缩比非常高
- Parquet:具有较好的压缩比,方便 MapReduce计算
parquet 和 ORC 对比
表类型
- 内部表:一般的表 ,删除表数据会一同被删除
- 外部表:是对HDFS上的文件的引用,删除表不会删除数据
- 分区表:可以根据key,进行分区,方便查询,选择key时要防止数据倾斜
- 桶表: 对某一列数据,进行哈希取值然后存放到不同的文件中,可以分区再分桶,hive是最对某一列进行分桶的,分桶有助于数据抽样和提升某些查询效率,分桶是对分区的进一步细化
hive分区
hive分桶
- 对于每一个表(table)或者分区(partition), Hive可以进一步组织成桶,也就是说桶是更为细粒度的数据范围划分。Hive也是 针对某一列进行桶的组织。Hive采用对列值哈希,然后除以桶的个数求余的方式决定该条记录存放在哪个桶当中。
- 把表(或者分区)组织成桶(Bucket)有两个理由
- 获得更高的查询处理效率。桶为表加上了额外的结构,Hive 在处理有些查询时能利用这个结构。具体而言,连接两个在(包含连接列的)相同列上划分了桶的表,可以使用 Map 端连接 (Map-side join)高效的实现。比如JOIN操作。对于JOIN操作两个表有一个相同的列,如果对这两个表都进行了桶操作。那么将保存相同列值的桶进行JOIN操作就可以,可以大大较少JOIN的数据量。
- 使取样(sampling)更高效。在处理大规模数据集时,在开发和修改查询的阶段,如果能在数据集的一小部分数据上试运行查询,会带来很多方便。
分桶不一过多,Hadoop擅长处理大块的数据文件,如果分桶过多,将产生更多小的文件,最好根据大区域的属性进行分桶,比如说收集商场数据,可以根据每个楼层分桶而不应该根据没有数据收集终端id 分桶