Hive函数&压缩

1、排序

Order By:全局排序
1)按照员工表的奖金金额进行正序排序
select * from emptable order by emptable.comm asc;
可以省略asc

2）按照员工表的奖金金额进行倒序排序
select * from emptable order by emptable.comm desc;

3)按照部门和奖金进行升序排序
select * from emptable order by deptno,comm;

Sort By:内部排序（区内有序，全局无序）
设置reduce个数的属性：set mapreduce.job.reduces = 3;
select * from dept_partitions sort by deptno desc;

Distribute By:分区排序
1）先按照部门编号进行排序再按照地域编号进行降序排序。
select * from dept_partitions distribute by deptno sort by loc desc;

Cluster By:分桶排序
1）按照部门编号进行排序
select * from dept_partitions cluster by deptno;

注意：如果Distrbute和Sort by 是相同字段时，可以用cluster by代替

2、分桶

分桶分的是文件
1）创建分桶表
clustered by(id) into 4 buckets

 
 

  
  hive> 
  
  set mapreduce.job.reduces=
  
  4;

 
 
 
 

  
  hive> create table emptable_buck(
  
  id int, 
  
  name 
  
  string)

 
 
 
 

  
      > clustered 
  
  by(
  
  id) 
  
  into 
  
  4 buckets

 
 
 
 

  
      > row format

 
 
 
 

  
      > delimited fields

 
 
 
 

  
      > terminated 
  
  by '\t';

 
 

查看表的描述信息

 
 

  
  hive> desc formatted emptable_buck
  
  ;

 
 

加载数据

 
 

  
  hive> load 
  
  data 
  
  local inpath 
  
  '/root/hsiehchou.txt' 
  
  into table emptable_buck;

 
 

 
 

  
  hive> create 
  
  table emptable_b(id 
  
  int, name string)

 
 
 
 

  
      > row format

 
 
 
 

  
      > delimited fields

 
 
 
 

  
      > terminated by 
  
  '\t';

 
 

清空表

 
 

  
  hive> truncate 
  
  table emptable_buck;

 
 

加载数据（桶）

 
 

  
  hive> load 
  
  data 
  
  local inpath 
  
  '/root/hsiehchou.txt' 
  
  into table emptable_b;

 
 

设置桶的环境变量(插入数据时分桶，不开启默认在一个桶里面)

 
 

  
  hive> 
  
  set hive.enforce.bucketing=true;

 
 
 
 

  
  hive> truncate 
  
  table emptable_buck;

 
 

用户需要统计一个具有代表性的结果时，并不是全部结果！抽样！
(bucket 1 out of 2 on id）
1：第一桶数据
2：代表拿两桶

 
 

  
  hive> select * 
  
  from emptable_buck  tablesample(bucket 
  
  1 
  
  out of 
  
  2 
  
  on 
  
  id);

 
 

3、UDF自定义函数

查看内置函数
show functions;
查看函数的详细内容
desc function extended upper;

UDF:一进一出
UDAF:聚合函数 多进一出 count /max/avg
UDTF:一进多出

java
导入Hive的lib下的所有jar包
编程java代码

 
 

  
  package com.hsiehchou;

 
 
 
 

  
  import org.apache.hadoop.hive.ql.exec.
  
  UDF;

 
 
 
 

  
  public 
  
  class MyConcat extends UDF {

 
 
 
 
    
  
  //将大写转换成小写

 
 
 
 

  
      public 
  
  String evaluate(
  
  String a, 
  
  String b) {

 
 
 
 
        
  
  return a + 
  
  "******" + 
  
  String.valueOf(b);

 
 
 
 

  
      }   

 
 
 
 

  
  }

 
 

export此文件，打包jar，放入hsiehchou121中。

添加临时：
add jar /root/Myconcat.jar;
create temporary function my_cat as “com.hsiehchou.MyConcat”;

 
 

  
  <!-- 注册永久：hive-site.xml -->

 
 
 
 

  
  <property>

 
 
 
 

  
  <name>hive.aux.jars.path
  
  </name>

 
 
 
 

  
  <value>file:///root/hd/hive/lib/hive.jar
  
  </value>

 
 
 
 

  
  </property>

 
 

4、Hive压缩

存储：hdfs
计算：mapreduce

Map输出阶段压缩方式
开启hive中间传输数据压缩功能
set hive.exec.compress.intermediate=true;

开启map输出压缩
set mapreduce.map.output.compress=true;

设置snappy压缩方式
set mapreduce.map.output.compress.codec=org.apache.hadoop.io.com
press.SnappyCodec;

Reduce输出阶段压缩方式
设置hive输出数据压缩功能
set hive.exec.compress.output=true;

设置mr输出数据压缩
set mapreduce.output.fileoutputformat.compress=true;

指定压缩编码
set mapreduce.output.fileoutputformat.compress.codec=org.apache.
hadoop.io.compress.SnappyCodec;

指定压缩类型块压缩
set mapreduce.output.fileoutputformat.compress.type=BLOCK;

测试结果
insert overwrite local directory ‘/root/datas/rs’ select * from emptable order by sal desc;