hive添加压缩

 hive在存储数据时会对HDFS上的数据做映射，在MYSQL中仅仅存储的是元数据信息。所有的数据都是存储在HDFS上的。

 现在有个需求是需要对hive操作生成的数据改为压缩数据存储，提高HDFS的存储空间利用率。这里有几点需要记录的：

 1.如果是本地文件通过hadoop fs -put 操作上传到HDFS的时候是不会对数据做任何处理的，即使hdfs-site.xml中配置了压缩参数也是不生效的。为什么？因为这个操作仅仅是一个复制的过程。没有调用mapreduce任务，如果想使数据压缩就需要通过mapreduce任务来操作。

 2.由1可知如果简单的把文本数据拷贝到hive表的目录下是不会出现压缩后的数据的，即不会有压缩操作。

 3.hive配置map过程的压缩和最终结果的压缩可以在两个地方：hadoop下的mapred-site.xml中或则hive的hive-site.xml中。如果是前者配置了所有的hadoop上的mapreduce任务都会做压缩处理，如果是后者配置了则只有hive的sql语句所创建的mapreduce任务会做压缩处理。所以如果不想所有的任务都做压缩操作，可以在hive-site.xml中配置。

 4.hive配置压缩可以有两种方式：其一是在hive的shell中 set 各种参数，这个是会话有效的。其二是就是在hive-site.xml中配置是全局有效的。

 5.工作中用到了sqoop直接把数据从数据库中导入到hive中，但是如果sqoop不指定压缩，导入到HDFS中的数据其实还是文本格式。所以需要指定参数 --compression-codec org.apache.hadoop.io.compress.BZip2Codec 来保证导入到HDFS中的数据是使用bzip2的压缩方式（bzip2压缩支持分隔）

 6.下面展示下hive-site.xml中配置的参数列表

    <pr