分区表与分桶表以及jvm重用

分区表：

分区表实际上就是对应一个HDFS文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集。在查询时通过WHERE子句中的表达式选择查询所需要的指定的分区，这样的查询效率会提高很多。

hive (default)> create table dept_partition(
deptno int, dname string, loc string
)
partitioned by (month string) 
row format delimited fields terminated by '\t';

可以创建多层分区 ：

create table dept_partition2(
               deptno int, dname string, loc string
               )
               partitioned by (year string,month string, day string)
               row format delimited fields terminated by '\t';

分桶表：

：
分区提供一个隔离数据和优化查询的便利方式。不过，并非所有的数据集都可形成合理的分区。对于一张表或者分区，Hive 可以进一步组织成桶，也就是更为细粒度的数据范围划分。
分桶是将数据集分解成更容易管理的若干部分的另一个技术。
分区针对的是数据的存储路径；分桶针对的是数据文件。
分桶规则：
创建分桶表：

create table stu_buck(id int, name string)
clustered by(id) 
into 4 buckets
row format delimited fields terminated by '\t';

根据结果可知：Hive的分桶采用对分桶字段的值进行哈希，然后除以桶的个数求余的方式决定该条记录存放在哪个桶当中

jvm重用

• 适用于很难避免小文件的场景或task特别多的场景，这类场景大多数执行时间都很短
• JVM重用可以使得JVM实例在同一个job中重新使用N次
• mapred-site.xml文件中进行配置mapreduce.job.jvm.numtasks来设置N的个数