Hive入门学习笔记01

1. Hive入门

1.1 什么是Hive？

Hive是由Facebook开源，基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。

• 快速了解什么是Hive！

例如：需求，统计单词出现个数。
（1）在Hadoop课程中我们用MapReduce程序实现的，当时需要写Mapper、Reducer和Driver三个类，并实现对应逻辑，相对繁琐。
（2）但是通过Hive SQL实现，一行就搞定了，非常简单方便。

1.2Hive本质

Hive是一个Hadoop客户端，用于将HQL（Hive SQL）转化成MapReduce程序。
（1）Hive中每张表的数据存储在HDFS
（2）Hive分析数据底层的实现是MapReduce（也可配置为Spark或者Tez）
（3）执行程序运行在Yarn上

1.3Hive架构原理

说明：
1）用户接口：Client
CLI（command-line interface）、JDBC/ODBC。
说明：JDBC和ODBC的区别。

• JDBC的移植性比ODBC好；（通常情况下，安装完ODBC驱动程序之后，还需要经过确定的配置才能够应用。而不相同的配置在不相同数据库服务器之间不能够通用。所以，安装一次就需要再配置一次。JDBC只需要选取适当的JDBC数据库驱动程序，就不需要额外的配置。在安装过程中，JDBC数据库驱动程序会自己完成有关的配置。）
• 两者使用的语言不同，JDBC在Java编程时使用，ODBC一般在C/C++编程时使用。

2）元数据：Metastore
元数据包括：数据库（默认是default）、表名、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等。
默认存储在自带的derby数据库中，由于derby数据库只支持单客户端访问，生产环境中为了多人开发，推荐使用MySQL存储Metastore。
3）驱动器：Driver
（1）解析器（SQLParser）：将SQL字符串转换成抽象语法树（AST）
（2）语义分析（Semantic Analyzer）：将AST进一步划分为QeuryBlock
（3）逻辑计划生成器（Logical Plan Gen）：将语法树生成逻辑计划
（4）逻辑优化器（Logical Optimizer）：对逻辑计划进行优化
（5）物理计划生成器（Physical Plan Gen）：根据优化后的逻辑计划生成物理计划
（6）物理优化器（Physical Optimizer）：对物理计划进行优化
（7）执行器（Execution）：执行该计划，得到查询结果并返回给客户端
4）Hadoop
使用HDFS进行存储，可以选择MapReduce/Tez/Spark进行计算。

2. Hive安装

2.1 Hive安装地址

1）Hive官网地址
http://hive.apache.org/

2.2 安装Hive

1）把apache-hive-3.1.3-bin.tar.gz上传到Linux的/opt/software目录下
2）解压apache-hive-3.1.3-bin.tar.gz到/opt/module/目录下面

[atguigu@hadoop102 software]$ tar -zxvf /opt/software/apache-hive-3.1.3-bin.tar.gz -C /opt/module/

3）修改apache-hive-3.1.3-bin.tar.gz的名称为hive

[atguigu@hadoop102 software]$ mv /opt/module/apache-hive-3.1.3-bin/ /opt/module/hive

4）修改/etc/profile.d/my_env.sh，添加环境变量

[atguigu@hadoop102 software]$ sudo vim /etc/profile.d/my_env.sh

（1）添加内容

#HIVE_HOME
export HIVE_HOME=/opt/module/hive
export PATH=$PATH:$HIVE_HOME/bin

（2）source一下

[atguigu@hadoop102 hive]$ source /etc/profile.d/my_env.sh

5）初始化元数据库（默认是derby数据库）

[atguigu@hadoop102 hive]$ bin/schematool -dbType derby -initSchema

2.3启动并使用Hive

1）启动Hive

[atguigu@hadoop102 hive]$ bin/hive

2）使用Hive

hive> show databases;
hive> show tables;
hive> create table stu(id int, name string);
hive> insert into stu values(1,"ss");
hive> select * from stu;

观察HDFS的路径/user/hive/warehouse/stu，体会Hive与Hadoop之间的关系。
Hive中的表在Hadoop中是目录；Hive中的数据在Hadoop中是文件。

3）在Xshell窗口中开启另一个窗口开启Hive，在/tmp/atguigu目录下监控hive.log文件

[atguigu@hadoop102 atguigu]$ tail -f hive.log


Caused by: ERROR XSDB6: Another instance of Derby may have already booted the database /opt/module/hive/metastore_db.
        at org.apache.derby.iapi.error.StandardException.newException(Unknown Source)
        at org.apache.derby.iapi.error.StandardException.newException(Unknown Source)
        at org.apache.derby.impl.store.raw.data.BaseDataFileFactory.privGetJBMSLockOnDB(Unknown Source)
        at org.apache.derby.impl.store.raw.data.BaseDataFileFactory.run(Unknown Source)
...

• 原因在于Hive默认使用的元数据库为derby。derby数据库的特点是同一时间只允许一个客户端访问。如果多个Hive客户端同时访问，就会报错。

如何解决？

• 将Hive的元数据改为用MySQL存储，MySQL支持多客户端同时访问。
  

4）首先退出hive客户端。然后在Hive的安装目录下将derby.log和metastore_db删除，顺便将HDFS上目录删除

hive> quit;
[atguigu@hadoop102 hive]$ rm -rf derby.log metastore_db
[atguigu@hadoop102 hive]$ hadoop fs -rm -r /user

5）删除HDFS中/user/hive/warehouse/stu中数据

2.4 MySQL安装

2.4.1 安装MySQL

1）上传MySQL安装包以及MySQL驱动jar包

mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar
mysql-connector-java-5.1.37.jar

2）解压MySQL安装包

[atguigu@hadoop102 software]$ mkdir mysql_lib
[atguigu@hadoop102 software]$ tar -xf mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar -C mysql_lib/

3）卸载系统自带的mariadb

[atguigu@hadoop102 ~]$ sudo rpm -qa | grep mariadb | xargs sudo rpm -e --nodeps

4）安装MySQL依赖

[atguigu@hadoop102 software]$ cd mysql_lib
[atguigu@hadoop102 mysql_lib]$ sudo rpm -ivh mysql-community-common-5.7.28-1.el7.x86_64.rpm
[atguigu@hadoop102 mysql_lib]$ sudo rpm -ivh mysql-community-libs-5.7.28-1.el7.x86_64.rpm
[atguigu@hadoop102 mysql_lib]$ sudo rpm -ivh mysql-community-libs-compat-5.7.28-1.el7.x86_64.rpm

5）安装mysql-client

[atguigu@hadoop102 mysql_lib]$ sudo rpm -ivh mysql-community-client-5.7.28-1.el7.x86_64.rpm

6）安装mysql-server

[atguigu@hadoop102 mysql_lib]$ sudo rpm -ivh mysql-community-server-5.7.28-1.el7.x86_64.rpm

注意：若出现以下错误

warning: 05_mysql-community-server-5.7.16-1.el7.x86_64.rpm: Header V3 DSA/SHA1 Signature, key ID 5072e1f5: NOKEY
error: Failed dependencies:
libaio.so.1()(64bit) is needed by mysql-community-server-5.7.16-1.el7.x86_64

解决办法：

[atguigu@hadoop102 software]$ sudo yum -y install libaio

7）启动MySQL

[atguigu@hadoop102 software]$ sudo systemctl start mysqld

8）查看MySQL密码

[atguigu@hadoop102 software]$ sudo cat /var/log/mysqld.log | grep password

2.4.2 配置MySQL

配置主要是root用户 + 密码，在任何主机上都能登录MySQL数据库。
1）用刚刚查到的密码进入MySQL（如果报错，给密码加单引号）

[atguigu@hadoop102 software]$ mysql -uroot -p'password'

2）设置复杂密码（由于MySQL密码策略，此密码必须足够复杂）

mysql> set password=password("Qs23=zs32");

3）更改MySQL密码策略

mysql> set global validate_password_policy=0;
mysql> set global validate_password_length=4;

4）设置简单好记的密码

mysql> set password=password("123456");

5）进入MySQL库

mysql> use mysql

6）查询user表

mysql> select user, host from user;

7）修改user表，把Host表内容修改为%

mysql> update user set host="%" where user="root";

8）刷新

mysql> flush privileges;

9）退出

mysql> quit;

2.5 配置Hive元数据存储到MySQL

2.5.1 配置元数据到MySQL

1）新建Hive元数据库
#登录MySQL

[atguigu@hadoop102 software]$ mysql -uroot -p123456

#创建Hive元数据库

mysql> create database metastore;
mysql> quit;

2）将MySQL的JDBC驱动拷贝到Hive的lib目录下。

[atguigu@hadoop102 software]$ cp /opt/software/mysql-connector-java-5.1.37.jar $HIVE_HOME/lib

3）在$HIV{E}_{H}OME/conf目录下新建hive-site.xml文件[atguigu@hadoop102software]$ vim $HIVE_HOME/conf/hive-site.xml
添加如下内容：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- jdbc连接的URL -->
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://hadoop102:3306/metastore?useSSL=false</value>
    </property>
    
    <!-- jdbc连接的Driver-->
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    
	<!-- jdbc连接的username-->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>

    <!-- jdbc连接的password -->
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
    </property>

    <!-- Hive默认在HDFS的工作目录 -->
    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/user/hive/warehouse</value>
    </property>
</configuration>

5）初始化Hive元数据库（修改为采用MySQL存储元数据）

[atguigu@hadoop102 hive]$ bin/schematool -dbType mysql -initSchema -verbose

2.5.2 验证元数据是否配置成功

1）再次启动Hive

[atguigu@hadoop102 hive]$ bin/hive

2）使用Hive

hive> show databases;
hive> show tables;
hive> create table stu(id int, name string);
hive> insert into stu values(1,"ss");
hive> select * from stu;

3）在Xshell窗口中开启另一个窗口开启Hive（两个窗口都可以操作Hive，没有出现异常）

hive> show databases;
hive> show tables;
hive> select * from stu;

2.5.3 查看MySQL中的元数据

1）登录MySQL

[atguigu@hadoop102 hive]$ mysql -uroot -p123456

2）查看元数据库metastore

mysql> show databases;
mysql> use metastore;
mysql> show tables;

（1）查看元数据库中存储的库信息
mysql> select * from DBS;
±------±----------------------±------------------------------------------±--------±-----------±-----------±----------+
| DB_ID | DESC | DB_LOCATION_URI | NAME | OWNER_NAME | OWNER_TYPE | CTLG_NAME |
±------±----------------------±------------------------------------------±--------±-----------±-----------±----------+
| 1 | Default Hive database | hdfs://hadoop102:8020/user/hive/warehouse | default | public | ROLE | hive |
±------±----------------------±------------------------------------------±--------±-----------±-----------±----------+
（2）查看元数据库中存储的表信息

mysql> select * from TBLS;
+--------+-------------+-------+------------------+---------+------------+-----------+-------+----------+---------------+
| TBL_ID | CREATE_TIME | DB_ID | LAST_ACCESS_TIME | OWNER   | OWNER_TYPE | RETENTION | SD_ID | TBL_NAME | TBL_TYPE      | 
+--------+-------------+-------+------------------+---------+------------+-----------+-------+----------+---------------+
|      1 |  1656318303 |     1 |                0 | atguigu | USER       |         0 |     1 | stu      | MANAGED_TABLE |
+--------+-------------+-------+------------------+---------+------------+-----------+-------+----------+---------------+

（3）查看元数据库中存储的表中列相关信息

mysql> select * from COLUMNS_V2;
+-------+----------+---------+------------+-------------+-------------+--------+
| CS_ID | CAT_NAME | DB_NAME | TABLE_NAME | COLUMN_NAME | COLUMN_TYPE | TBL_ID |
+-------+----------+---------+------------+-------------+-------------+--------+
|     1 | hive     | default | stu        | id          | int         |      1 |
|     2 | hive     | default | stu        | name        | string      |      1 |
+-------+----------+---------+------------+-------------+-------------+--------+

2.6 Hive服务部署

2.6.1 hiveserver2服务

Hive的hiveserver2服务的作用是提供jdbc/odbc接口，为用户提供远程访问Hive数据的功能，例如用户期望在个人电脑中访问远程服务中的Hive数据，就需要用到Hiveserver2。

具体逻辑如下：
(1)未开启用户模拟功能：

(2)开启用户模拟功能：

注：生产环境，推荐开启用户模拟功能，因为开启后才能保证各用户之间的权限隔离。