Hive常用库表操作及知识汇总

背景

数据仓库列式存储（parquet）

parquet是面向分析型业务的列式存储格式，是一种支持嵌套结构的存储格式，并且使用了列式存储的方式提升查询性能。
无论数据处理框架，数据模型或编程语言的选择如何，Apache Parquet都是Hadoop生态系统中任何项目可用的列式存储格式。

特点：

1. 可以跳过不符合条件的数据，只读取需要的数据，降低IO数据量。
2. 压缩编码可以降低磁盘存储空间。。
3. 只读取需要的列，支持向量运算，能够获取更好的扫描性能。
   在取数时避免select *全局扫描，select需要读取的列，通过子查询而非全表join。
   一个Parquet文件是由一个header以及一个或多个block块组成，以一个footer结尾。
   header中只包含一个4个字节的数字PAR1用来识别整个Parquet文件格式。
   文件中所有的metadata都存在于footer中。footer中的metadata包含了格式的版本信息，schema信息、key-value paris以及所有block中的metadata信息。
   footer中最后两个字段为一个以4个字节长度的footer的metadata，以及同header中包含的一样的PAR1。

操作

1. 插入字段
alter table order.info
add columns(
order_no string comment ‘’,
type string comment ‘’
) cascade;