-
1.Hive简介
-
2.Hive部署方式
-
3.Hive的架构图
-
4.Hive初体验
-
5.Hive SQL语法--DDL操作数据库
1.Hive简介
Apache Hive是建立在Hadoop之上的一个数据仓库工具，它提供了一种类似于SQL的查询语言，称为HiveQL，用于查询和分析存储在Hadoop分布式文件系统（HDFS）中的大规模结构化数据。以下是Hive的一些主要特点和介绍：
1. 类SQL查询语言： HiveSQL是Hive的查询语言，它类似于传统数据库中的SQL。这使得对Hadoop中的数据执行查询变得更加容易，尤其是对那些熟悉SQL的用户。
2. 数据仓库和ETL工具： Hive被设计为一种数据仓库工具，适用于大规模数据的存储、查询和分析。它还可以用作ETL（Extract, Transform, Load）工具，支持将数据从不同来源导入到Hadoop中。
3. 扩展性： Hive是建立在Hadoop生态系统之上的，因此可以轻松扩展到大规模的数据集。它利用Hadoop的分布式计算能力，可以处理PB级别的数据。
4. Hive表和分区： Hive中的数据组织成表，并且可以根据需要进行分区。这使得对大型数据集进行更有效的管理和查询成为可能。
5. 元数据存储： Hive使用元数据存储来跟踪表、分区和其他元素的信息。这些元数据存储在关系型数据库中（默认是Derby），并可由Hive管理器访问。
6. 用户自定义函数（UDF）： Hive允许用户编写自定义函数，以满足特定的数据处理需求。这使得Hive可以通过用户定义的函数进行更高级的数据处理。
7. 优化和执行计划： Hive执行计划使用MapReduce来处理查询，但Hive也支持其他执行引擎，例如Tez。优化器在执行计划中进行优化，以提高查询性能。
8. 集成其他工具： Hive可以与其他Hadoop生态系统工具集成，例如Apache HBase、Apache Spark等，以实现更丰富的数据处理和分析功能。
总体而言，Apache Hive是一个强大的工具，使得在Hadoop平台上执行SQL样式的查询变得更加容易，同时提供了对大规模结构化数据的存储和处理的能力。
什么是分布式SQL?
通过分布式的方式, 执行SQL语句, 获取分析结果.
为啥要学Apache Hive呢?
-
通过Java 或者 Python直接操作MapReduce, 也可以做分析, 但是开发难度稍大.举例在SQL中计算表数据中有多少个‘word’这个单词只需要轻飘飘的一个selece查询一行代码即可，但是在Java，Python这种语言中却需要很多行代码才能完成，所以通过SQL做分析, 相对简单易上手
-
Apache Hive就是让我们写类SQL语法, 然后Hive底层会将其解析成MR来执行
总结
-
以后你只要写HiveSQL语法就可以了, Hive会将其自动转成MR任务, 交由Yarn来调度执行.
-
Hive是依赖Hadoop的, 想使用Hive, 必须先搭建和启动Hadoop集群.
2.Hive部署方式
-
Hive的部署
-
Hive是一款单机工具, 只需要部署到一台服务器上即可. 它底层会将HQL解析成MR任务, 分布式执行.
-
-
启动Hive服务
-- 1. 启动Hadoop集群, 只在node1机器执行即可.
[root@node1 ~]# start-all.sh
-- 2. 启动历史服务, 只在node1机器执行即可.
[root@node1 ~]# mr-jobhistory-daemon.sh start historyserver
-- 3. 分别在node1, node2, node3三台机器中, 执行jps命令, 查看启动的Hadoop集群节点.
[root@node1 ~]# jps
-- 4. 启动hive的metastore(元数据管理服务), 因为目前没有配置path环境变量, 需要到hive目录下执行.
[root@node1 ~]# cd /export/server/hive/bin
[root@node1 bin]# ll
总用量 48
-rwxr-xr-x 1 root root 881 8月 23 2019 beeline -- Hive的第2代客户端
drwxr-xr-x 3 root root 4096 10月 24 2021 ext
-rwxr-xr-x 1 root root 10158 8月 23 2019 hive -- Hive的第1代客户端
-rwxr-xr-x 1 root root 1900 8月 23 2019 hive-config.sh
-rwxr-xr-x 1 root root 885 8月 23 2019 hiveserver2
-rwxr-xr-x 1 root root 880 8月 23 2019 hplsql
-rwxr-xr-x 1 root root 3064 8月 23 2019 init-hive-dfs.sh
-rwxr-xr-x 1 root root 832 8月 23 2019 metatool
-rw------- 1 root root 3015 1月 7 18:49 nohup.out
-rwxr-xr-x 1 root root 884 8月 23 2019 schematool
-- 4.1 前台方式, 启动metastore服务
[root@node1 bin]# ./hive --service metastore -- 启动之后,当前窗口就被占用了.
-- 4.2 后方方式, 启动metastore服务, 不占用当前窗口
[root@node1 bin]# nohup ./hive --service metastore &
[root@node1 bin]# jps -m -- 查看本机和Java相关的进程(详细信息)
3825 ResourceManager
4787 RunJar /export/server/hive/lib/hive-metastore-3.1.2.jar org.apache.hadoop.hive.metastore.HiveMetaStore
4949 Jps -m
3974 NodeManager
3239 NameNode
4459 JobHistoryServer
3389 DataNode
[root@node1 bin]# 3.Hive架构图
-
Hive的本质
-
Hive的架构图
4.Hive初体验
第一代客户端
[root@node1 bin]# ./hive -- 之后就可以写HiveSQL代码了.
hive> show databases; -- 查看所有数据库.
OK
default
Time taken: 0.458 seconds, Fetched: 1 row(s)
hive> create database day05; -- 创建day05数据库
OK
Time taken: 0.785 seconds
hive> show databases; -- 查看所有数据库
OK
day05
default
Time taken: 0.03 seconds, Fetched: 2 row(s)
hive> use day05; -- 切库
OK
Time taken: 0.031 seconds
hive> show tables; -- 查看day05数据库中所有的数据表
OK
Time taken: 0.034 seconds
hive> create table test(id int, name string, gender string); -- 建表
OK
Time taken: 0.387 seconds
hive> show tables; -- 查看day05数据库中所有的数据表
OK
test
Time taken: 0.024 seconds, Fetched: 1 row(s)
hive> select * from test; -- 查看表数据
OK
Time taken: 1.371 seconds
-- 添加表数据, 底层会将该SQL转成MR任务来执行.
hive> insert into test values(1, 'zhangsan','male'), (2, 'lisi', 'female');
OK
Time taken: 24.651 second
hive> select * from test; -- 查看表数据
OK
Time taken: 1.371 seconds第二代客户端
-- 1. 切换到hive的bin目录下
[root@node1 ~]# cd /export/server/hive/bin
-- 2. 启动hiveserver2服务(需要2~3分钟), 确保你已经成功启动Hadoop集群和metastore服务.
[root@node1 bin]# nohup ./hive --service hiveserver2 &
-- 3. 查看进程是否启动.
[root@node1 bin]# jps -m
3825 ResourceManager
4787 RunJar /export/server/hive/lib/hive-metastore-3.1.2.jar org.apache.hadoop.hive.metastore.HiveMetaStore
3974 NodeManager
3239 NameNode
5833 RunJar /export/server/hive/lib/hive-service-3.1.2.jar org.apache.hive.service.server.HiveServer2 --hiveconf hive.aux.jars.path=file:///export/server/hive/conf/lib
4459 JobHistoryServer
5964 Jps -m
3389 DataNode
-- 4. 查看hiveserver2服务是否初始化完毕.
[root@node1 bin]# lsof -i:10000
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
java 5833 root 523u IPv6 123970 0t0 TCP *:ndmp (LISTEN)
-- 至此, Hive服务启动完毕.
--然后启动第二代客户端
-- 1. 切换到hive的bin目录下
[root@node1 ~]# cd /export/server/hive/bin
-- 2. 启动第2代客户端
[root@node1 ~]# ./beeline -- 敲回车
beeline> !connect jdbc:hive2://node1:10000 -- 敲回车
Connecting to jdbc:hive2://node1:10000
Enter username for jdbc:hive2://node1:10000: root -- 输入账号(可以任意写), 敲回车
Enter password for jdbc:hive2://node1:10000: -- 不用输入, 直接敲回车.
Connected to: Apache Hive (version 3.1.2)
Driver: Hive JDBC (version 3.1.2)
Transaction isolation: TRANSACTION_REPEATABLE_READ
0: jdbc:hive2://node1:10000> -- 可以在这里直接写HiveSQL语句了.
0: jdbc:hive2://node1:10000> show databases;
0: jdbc:hive2://node1:10000> use day05;
0: jdbc:hive2://node1:10000> show tables;
0: jdbc:hive2://node1:10000> select * from test;
+----------+------------+--------------+
| test.id | test.name | test.gender |
+----------+------------+--------------+
| 1 | zhangsan | male |
| 2 | lisi | female |
+----------+------------+--------------+5.HiveSQL语法
DDL操作数据库
在正式使用Hive之前, 务必确保你的环境是OK, 即: 以后你每天开启虚拟机之后, 需要做的事情是:
1. 在node1中启动 hadoop环境, 历史任务服务, metastore服务, hiveserver2服务.
2. 查看hiveserver2服务是否成功启动, 如果OK, 则用DataGrip直连Hive即可, 这样就能写HiveSQL语句了.
-- 1. 查看所有的数据库.
show databases ;-- 2. 切换数据库.
show databases ;-- 3. 创建数据库, 默认是存储到: HDFS的 /user/hive/warehouse/数据库名.db 这里.
create database day06; -- 如果重复执行会报错.
create database if not exists day06; -- 如果day06数据库不存在, 我们再创建. 存在就什么都不操作.-- 4. 创建数据库的时候, 指定数据库在HDFS上的存储位置.
create database day07 location '/aa'; -- 引号中写的是 HDFS的路径-- 5. 查看具体的数据库.
show create database day07; -- 查看数据库的简单信息.
desc database day07; -- 查看数据库的详细详细.-- 6. 切换到day07数据库, 创建1个表, 我们看看.
use day07;
create table stu(id int, name string);-- 7. 删除数据库.
drop database day06; -- 因为是空库, 所以会直接删除.
drop database day07 cascade; -- 如果要删除的数据库不是空库, 则后续加上cascade关键字, 会连同数据库, 表一起删除.那么文章到此截止，不足之处请各位大佬多多指教
愿你在大数据的海洋中航行顺风，发现属于你的数据宝藏！🚢💻
5467
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
