2024年最新大数据Hive（介绍+安装+使用）(3)

人员学习成本太高需要掌握java、Python等编程语言，MapReduce实现复杂查询逻辑开发难度太大。

使用Hive处理数据的好处

操作接口采用类SQL语法，提供快速开发的能力(简单、容易上手)

底层执行MapReduce，可以完成分布式海量数据的SQL处理 。

Hive的组件

架构图如下

• 元数据存储

通常是存储在关系数据库如 mysql/derby中。Hive 中的元数据包括表的名字，表的列和分区及其属性，表的属性(是否为外部表等)，表的数据所在目录等。- Hive提供了Metastore 服务进程提供元数据管理功能

• Driver驱动程序

包括语法解析器、计划编译器、优化器、执行器，负责完成 HQL 查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在 HDFS 中，并在随后有执行引擎调用执行。

• 用户接口

包括CLI、JDBC/0DBC、WebGUl其中，CL(command line interface)为shell命令行; Hive中的Thrift服务器允许外部客户端通过网络与Hive进行交互，类似于IDBC或ODBC协议。WebGUI是通过浏览器访问Hive。

MySQL安装

因为hive的运行需要有一个数据库进行元数据存储，所以需要先安装数据库。

下载地址，下载.tar的，解压就可以用了。

mysql安装

a、上传mysql安装包
b、解压mysql安装包
[root@hadoop1 ~]# tar -zxvf /soft/mysql-5.7.36-linux-glibc2.12-x86_64.tar.gz -C /usr/local/
[root@hadoop1 ~]# cd /usr/local
# 重命名为mysql
[root@hadoop1 local]# mv mysql-5.7.36-linux-glibc2.12-x86_64 mysql
c、配置mysql的环境变量
[root@hadoop1 ~]# vi /etc/profile
# mysql的环境变量
export MYSQL_HOME=/usr/local/mysql
export PATH=$MYSQL_HOME/bin:$PATH
d、生效mysql的环境变量
[root@hadoop1 ~]# source /etc/profile
e、测试(报错将在下一个环节处理)
[root@hadoop1 ~]# mysql
ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/tmp/mysql.sock' (2)

创建 mysql 属组、用户、安装目录

# 创建新数组 mysql
[root@hadoop1 ~]# gr