大数据_Hive的安装配置(远程模式)

一、Hive的安装和配置:远程模式（需要MySQL数据库）
    （*）在嵌入模式下，在哪个目录下执行的数据库初始化，就应该在哪个目录下执行: hive
    （*）远程模式：MySQL
        （1）配置MySQL的数据库:http://www.mysqlfront.de/
        （2）配置hive-site.xml： JDBC的参数
                <?xml version="1.0" encoding="UTF-8" standalone="no"?>
                <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
                <configuration>          
                    <property>
                      <name>javax.jdo.option.ConnectionURL</name>
                      <value>jdbc:mysql://localhost:3306/hive?useSSL=false</value>
                    </property> 

                    <property>
                      <name>javax.jdo.option.ConnectionDriverName</name>
                      <value>com.mysql.jdbc.Driver</value>
                    </property> 

                    <property>
                      <name>javax.jdo.option.ConnectionUserName</name>
                      <value>hiveowner</value>
                    </property> 

                    <property>
                      <name>javax.jdo.option.ConnectionPassword</name>
                      <value>Welcome_1</value>
                    </property> 

                </configuration>
        （3）把MySQL数据库的驱动放到: Hive/lib下
        （4）初始化MySQL数据库
             老版本的Hive：第一次运行Hive
             新版本的hive：schematool -dbType mysql -initSchema


二、Hive的数据模型（重要）: 表的类型 ----> 默认分隔符是：tab键
        ,MARTIN,SALESMAN,7698,1981/9/28,1250,1400,30


    1、内部表：相当于MySQL（Oracle）中表，将数据保存到Hive自己的数据仓库的目录中: /usr/hive/warehouse
            create table emp
            (empno int,
            ename string,
            job string,
            mgr int,
            hiredate string,
            sal int,
            comm int,
            deptno int
            );

            导入数据到表中：本地、HDFS
            load语句、insert语句
            load语句相当于ctrl+X

            load data inpath '/scott/emp.csv' into table emp;   ----> 导入HDFS
            load data local inpath '/root/temp/***' into table emp;   ----> 导入本地文件

            创建表，并且指定分隔符
            create table emp1
            (empno int,
            ename string,
            job string,
            mgr int,
            hiredate string,
            sal int,
            comm int,
            deptno int
            )row format delimited fields terminated by ',';

            创建部门表，保存部门数据
                create table dept
                (deptno int,
                dname string,
                loc string
                )row format delimited fields terminated by ','; 

                load data inpath '/scott/dept.csv' into table dept;


    2、分区表：提高查询的效率----> 查看SQL的执行计划
               分区 ----> 目录

        （*）根据员工的部门号建立分区
                create table emp_part
                (empno int,
                ename string,
                job string,
                mgr int,
                hiredate string,
                sal int,
                comm int
                )partitioned by (deptno int)
                row format delimited fields terminated by ',';  

                往分区表中导入数据：指明分区
                insert into table emp_part partition(deptno=10) select empno,ename,job,mgr,hiredate,sal,comm from emp1 where deptno=10;
                insert into table emp_part partition(deptno=20) select empno,ename,job,mgr,hiredate,sal,comm from emp1 where deptno=20;
                insert into table emp_part partition(deptno=30) select empno,ename,job,mgr,hiredate,sal,comm from emp1 where deptno=30;

        （*）Hive SQL的执行计划
        （*）补充：Oracle中的索引和执行计划
                （*）问题：索引一定可以提高查询的效率吗？
                （*）Oracle中索引两种类型：  B树索引（默认）----> 适合：insert  update delete
                                          位图索引      ----> 适合：select

oracleSQL的执行计划

索引：相当于是一本书的目录

查询10号部门的员工   select * from emp where deptno=10;

生成执行计划:
explain plan for select * from emp where deptno=10;

select * from table(dbms_xplan.display);

1、没有索引
--------------------------------------------------------------------------
| Id  | Operation         | Name | Rows  | Bytes | Cost (%CPU)| Time     |
--------------------------------------------------------------------------
|   0 | SELECT STATEMENT  |      |     3 |   261 |     3   (0)| 00:00:01 |
|*  1 |  TABLE ACCESS FULL| EMP  |     3 |   261 |     3   (0)| 00:00:01 |
--------------------------------------------------------------------------


2、有索引   create index myindex on emp(deptno);
---------------------------------------------------------------------------------------
| Id  | Operation                   | Name    | Rows  | Bytes | Cost (%CPU)| Time     |
---------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT            |         |     3 |   261 |     2   (0)| 00:00:01 |
|   1 |  TABLE ACCESS BY INDEX ROWID| EMP     |     3 |   261 |     2   (0)| 00:00:01 |
|*  2 |   INDEX RANGE SCAN          | MYINDEX |     3 |       |     1   (0)| 00:00:01 |
---------------------------------------------------------------------------------------

看索引计划，都是从上往下，从右往左。

问题: 索引一定可以提高查询的效率么
    在什么情况下，不一定会提高查询计划(数据量很少的情况下和数据严重倾斜的时候(99.9%的数据都是10号部门的员工))

    3、外部表: external table 相对于内部表
        （*）实验的数据
                [root@bigdata11 ~]# hdfs dfs -cat /students/student01.txt
                1,Tom,23
                2,Mary,24
                [root@bigdata11 ~]# hdfs dfs -cat /students/student02.txt
                3,Mike,26

        （*）定义：（1）表结构  （2）指向的路径
                create external table students_ext
                (sid int,sname string,age int)  
                row format delimited fields terminated by ','   
                location '/students';

        （*）Oracle中的外部表
            数据加载方式：
            （1）Oracle SQL*Loader 工具
            （2）Oracle的数据泵---> PLSQL程序的一个程序包

    4、桶表：本质也是一种分区表，类似Hash分区
               桶 ----> 文件
              创建一个桶表，按照员工的职位job分桶
                create table emp_bucket
                (empno int,
                ename string,
                job string,
                mgr int,
                hiredate string,
                sal int,
                comm int,
                deptno int
                )clustered by (job) into 4 buckets
                row format delimited fields terminated by ',';

                使用桶表，需要打开一个开关
                set hive.enforce.bucketing=true;

                使用子查询插入数据
                insert into emp_bucket select * from emp1;

    5、视图：view
        （*）视图是一个虚表，虚：视图是不存数据的
        （*）优点：简化复杂的查询
        （*）举例：查询部门名称、员工的姓名
                create view myview
                as
                select dept.dname,emp1.ename        
                from emp1,dept
                where emp1.deptno=dept.deptno;

                select * from myview;

        （*）补充：视图（Oracle数据库） ----> 物化视图
                  如果视图可以缓存数据，提高效率

    6、Hive的查询
        （1）查询所有的员工信息
               select * from emp1;

        （2）查询员工信息：员工号  姓名  薪水
               select empno,ename,sal from emp1;

        （3）多表查询:查询部门名称、员工的姓名
                select dept.dname,emp1.ename        
                from emp1,dept
                where emp1.deptno=dept.deptno;

        （4）子查询：hive只支持：from和where后面的子查询
             参考讲义的：P50

        （5）内置函数：select max(sal) from emp1;

        （6）条件函数  就是一个if else： 做一个报表：涨工资，总裁1000 经理800 其他400
select empno,ename,job,sal,
case job when 'PRESIDENT' then sal+1000
         when 'MANAGER' then sal+800
         else sal+400
end
from emp1;


select empno,ename,job,sal,
case job when 'PRESIDENT' then sal+1000
         when 'MANAGER' then sal+800
         else sal+400
end
from emp;

Oracle数据库：decode函数也是条件函数

三、Hive的Java客户端
    1、JDBC：Java的标准的访问数据库的接口
        启动Hive Server:  hiveserver2

        java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException:User: 
        root is not allowed to impersonate anonymous
        在老版本的Hive中，是没有这个问题的
        把Hadoop HDFS的访问用户（代理用户） ---> *
        core-site.xml
            <property>
               <name>hadoop.proxyuser.root.hosts</name>
               <value>*</value>
            </property>

            <property>
               <name>hadoop.proxyuser.root.groups</name>
               <value>*</value>
            </property>

    2、ODBC、Thrift Client

代码实现

package demo.jdbc;

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;

//工具类：（1）获取数据库的链接  (2) 释放数据库资源: Connection, Statement, ResultSet
public class JDBCUtils {

    //Hive的驱动
    private static String driver = "org.apache.hive.jdbc.HiveDriver";
    //Oracle： oracle.jdbc.OracleDriver

    //Hive的位置
    private static String url = "jdbc:hive2://192.168.157.11:10000/default";

    //注册数据库的驱动: Java的反射
    static{
        try {
            Class.forName(driver);
        } catch (ClassNotFoundException e) {
            throw new ExceptionInInitializerError(e);
        }
    }

    //获取数据库链接
    public static Connection getConnection(){
        try {
            return DriverManager.getConnection(url);
        } catch (SQLException e) {
            e.printStackTrace();
        }
        return null;
    }

    public static void release(Connection conn,Statement st,ResultSet rs){
        if(rs != null){
            try {
                rs.close();
            } catch (SQLException e) {
                e.printStackTrace();
            }finally{
                rs = null;
            }
        }

        if(st != null){
            try {
                st.close();
            } catch (SQLException e) {
                e.printStackTrace();
            }finally{
                st = null;
            }
        }

        if(conn != null){
            try {
                conn.close();
            } catch (SQLException e) {
                e.printStackTrace();
            }finally{
                conn = null;
            }
        }
    }
}

package demo.jdbc;

import java.sql.Connection;
import java.sql.ResultSet;
import java.sql.Statement;

public class DemoTest {

    public static void main(String[] args) {
        String sql = "select * from emp1";

        Connection conn = null;
        Statement st = null;
        ResultSet rs = null;
        try{
            conn = JDBCUtils.getConnection();

            //得到SQL的运行环境
            st = conn.createStatement();
            //执行SQL
            rs = st.executeQuery(sql);

            while(rs.next()){
                //姓名 薪水
                String name = rs.getString("ename");
                double sal = rs.getDouble("sal");
                System.out.println(name +"\t" + sal);
            }
        }catch(Exception ex){
            ex.printStackTrace();
        }finally{
            JDBCUtils.release(conn, st, rs);
        }

    }

}

四、Hive的自定义函数：内置函数、自定义函数（就是一个Java程序，封装我们的业务逻辑）

UDF: user define function

1、实现关系型数据库中的concat函数: 拼加字符串
      select concat('Hello  ' ,'World') from dual;  ----> Hello World

2、根据员工的薪水，判断薪水的级别
    (*) sal < 1000   ---> Grade A
    (*) 1000<= sal < 3000 ---> Grade B
    (*) sal >= 3000 ---> Grade C

3、打包
   将jar包加入hive的classpath
   add jar /root/temp/myudf.jar;

   创建别名（函数名称）
   create temporary function myconcat as 'demo.udf.MyConcatString';
   create temporary function checksal as 'demo.udf.CheckSalaryGrade';

> 代码实现
```java
package demo.udf;

import org.apache.hadoop.hive.ql.exec.UDF;

//实现关系型数据库中的concat函数: 拼加字符串
public class MyConcatString extends UDF{

    //必须重写一个方法，方法的名字：必须叫: evaluate
    public String evaluate(String a,String b){
        return a + "*************"+b;
    }
}




<div class="se-preview-section-delimiter"></div>

“`

java中 a=null 这是什么意思
把a这个对象占用的内存资源释放掉，通过java的垃圾回收(把对象的引用指向了空值)

能不能通过java程序去干预java GC呢?
不可以，但是我们可以通过设置java虚拟机的参数，去影响java垃圾回收的机制。

```java
package demo.udf;

import org.apache.hadoop.hive.ql.exec.UDF;

//根据员工的薪水，判断薪水的级别
public class CheckSalaryGrade extends UDF{

    public String evaluate(String salary){
        int sal = Integer.parseInt(salary);

        if(sal<1000) return "Grade A";
        else if(sal>=1000 && sal<3000) return "Grade B";
        else return "Grade C";
    }
}

java中 a=null 这是什么意思
把a这个对象占用的内存资源释放掉，通过java的垃圾回收(把对象的引用指向了空值)

能不能通过java程序去干预java GC呢?
不可以，但是我们可以通过设置java虚拟机的参数，去影响java垃圾回收的机制。