Hive存储方式

 储存文件压缩比总结
          ORC > Parquet > textFile > sequencefile

      列式存储和行式存储
          行存储的特点：
              查询满足条件的一整行数据数据的时候，列存储则需要去每个聚集的字段找到对应的每个列的值，行存储只需要找到其中一个值，其余的值都在相邻地方，所以此时行存储的查询速度更快。
          列存储的特点：
              因为每个字段的数据聚集存储，在查询只需要少数几个字段的时候，能大大减少读取的数据量；每个字段的数据类型一定是相同的，列式存储可以针对性的设计更好的设计压缩算法。
          Textfile和sequencefile 的存储格式都是基于行存储的
          orc和parquet 是基于列式存储的
              Textfile格式：
                  默认格式，数据不做压缩，磁盘开销大，数据解析开销大，可结合gzip，bzip2使用，hive不会对数据进行切分，从而无法对数据进行并行操作
              Orc 格式
                  每个orc 文件由一个或多个strpe 组成，每个stripe一般为hdfs的块大小，每一个stripe包含多条记录，这些记录按照列进行独立存储，对应的parquet中的row group的概念。每个stripe 里面有三部分组成（index data，row data，stripe footer）
                      Index data：
                          一个轻量级的index，默认是每一万行做一个索引。这里做的索引应该是记录某行的各字段在row data 中的offset。
                      Row data：
                          存的是具体的数据，先去部分行，然后对这些行进行按列存储，对对每个列进行了编码，分成多个stream来存储。
                      Stripe footer：
                          存的是各个stream 的类型，长度等信息。
              Parquet 格式
                  Parquet 文件是以二进制方式存储的，所以不能直接读取，文件中包括该文件的数据和元数据，因此parquet 格式文件是自解析的。
                      行组（row group）
                          每一个行组包含一定的行数，在一个hdfs文件中至少存储一个行组，类似于orc的stripe的概念。
                      列块（column chuck）：
                          在一个行组中每一列保存在一个列块中，行组中所有的列连续的存储在这个行组文件中。一个列块中的值都是相同类型的，不同的列块肯能使用不同的算法及进行压缩
                      页（page）：
                          每一个列块划分为多个页，一个也是最小的编码的单位，在同一列块的不同页可能使用不同的编码方式。
                  通常情况下，在存储parquet数据的时候会按照block 大小设置行组的大小，一搬情况下，每一个mapper 任务处理的最小单位是block，这样可以把每一个行组由一个Mapper任务处理，增大任务并行度。
                  在parquet中，有三个类型的页
                      数据页
                          用于存储当前行组中该列的值
                      字典页
                          存储该列值的字符编码，每一个列块中最多包含一个字典页
                      索引页
                          用来存储当前行组下该列的索引（目前parquet中还不支持索引页）