hive基础

2019独角兽企业重金招聘Python工程师标准>>>

Hive的数据存储：
    1.表：
    用于映射文本类型的数据成关系型，每个表对应一个目录，目录下存储的是存储数据的文本。
    删除表的时候数据和元数据都会被删除。
    2.外部表：
    与表类似，但是数据文件不放在自己表所属的目录中，而是放在别处，在定义表的时候用location关键字指定。
    删除表的时候，外部数据并不会被删除，只删除对应表的元数据。
    3.分区：
    相当于对数据的某一属性进行分类，每一分区对应一个文件夹。分区是针对数据文件
划分的而非数据记录，分区下还可以后子分区，以实现数据的多维度划分。
    4.桶：
    对指定的列去hash值，根据hash值切分数据，目的是为了并行，每个桶对应一个文件。
    桶可以直接建立在表下，也可以建立在分区下。


常用命令：
    创建表:
    create table [if not exists] table_name (
        field_name field_type,
    )
    PARTITIONED BY(field_name field_type)
    ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
    stored as textfile;


    导入数据:
    load data [local] inpath 'file_path' [overwrite] into table table_name [partition (xxx='xxxx')];
    
    导出数据：
    INSERT OVERWRITE [LOCAL] DIRECTORY 'file_path' select * from table_name where clause;


    查询结果导入表：
    INSERT OVERWRITE TABLE table_name select * from table_name where clause;


UDF:
    尽管hive为我们提供了大量的函数，但是使用需求是多样的，所以有时我们要自定义函数。
    自定义函数需要编写自定义类，类继承自org.apache.hadoop.hive.ql.exec.UDF
    maven依赖配置：
        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-exec</artifactId>
            <version>0.14.0</version>
        </dependency>
    
    定义类：
        package com.example.hive.udf;
        import org.apache.hadoop.hive.ql.exec.UDF;
        public class Function extends UDF {
            public String evaluate(String text) {
                //do something
                return "";
            } 
        }
    自定义类需要实现名为evaluate的方法，该方法可可重载，UDF只能实现一进一出的操作


    将写好的类打包程jar包，有时maven打包会出问题，可按如下手动打包：
    javac -cp class_file_path/hive-exec-0.14.0.jar Function.java
    jar -cvf Function.jar Function.class


    生成jar包后导入hive中就可以使用该函数了：
    hive> add jar /home/yourname/Function.jar;
    hive> create temporary function my_function as 'com.example.hive.udf.Function';


    使用函数：
    select my_function(name) from table_name;

转载于:https://my.oschina.net/nalenwind/blog/346843