Hive环境准备[重点学习]

最新推荐文章于 2024-11-09 22:26:44 发布

Yan_bigdata

最新推荐文章于 2024-11-09 22:26:44 发布

阅读量922

点赞数 18

文章标签： hive 学习 hadoop

本文链接：https://blog.csdn.net/Yan_bigdata/article/details/134686164

版权

本文介绍了在Linux上配置Hadoop集群（HDFS和YARN）、启动服务（包括Hive的Metastore和Hiveserver2）、设置Hive环境变量，并演示了使用Hive一代和二代客户端的连接过程。

摘要由CSDN通过智能技术生成

1.前提启动hadoop集群

hadoop在统一虚拟机中已经配置了环境变量

启动hdfs和yarn集群

命令:start-all.sh

[root@node1 /]# start-all.sh

启动mr历史服务

命令:mapred --daemon start historyserver

[root@node1 /]# mapred --daemon start historyserver

检查服务

命令:jps

[root@node1 /]# jps
5109 JobHistoryServer

结果是:端口号对应服务名
例如:5109 JobHistoryServer

2.配置Hive环境变量

回顾shell脚本执行方式

方式1: sh 脚本注意: 需要进入脚本所在目录,但脚本有没有执行权限不影响执行
方式2: ./脚本注意: 需要进入脚本所在目录,且脚本必须有执行权限
方式3: /绝对路径/脚本注意: 不需要进入脚本所在目录,但必须有执行权限
方式4: 脚本注意: 需要配置环境变量(大白话就是把脚本所在路径共享,任意位置都能直接访问)

注意: hive在统一虚拟机中没有配置环境变量,可以下面步骤配置

配置环境变量

[root@node1 /]# vim /etc/profile

在profile文件末尾添加(小技巧G+o快速定位到最后)
export HIVE_HOME=/export/server/apache-hive-3.1.2-bin
export PATH= $P A T H :$ HIVE_HOME/bin:$HIVE_HOME/sbin

[root@node1 /]# source /etc/profile

最后建议关机拍摄下快照

3.先启动hive服务

后台启动metastore服务: nohup hive --service metastore &
后台启动hiveserver2服务: nohup hive --service hiveserver2 &
查看metastore和hiveserver2进程是否启动: jps 注意: 服务名都叫RunJar,可以通过进程编号区分
服务启动需要一定时间可以使用lsof查看: lsof -i:10000 注意: 如果无内容继续等待,如果有内容代表启动成功

[root@node1 bin]# nohup hive --service metastore &
[1] 13490
nohup: 忽略输入并把输出追加到"nohup.out" 回车

[root@node1 bin]# nohup hive --service hiveserver2 &
[2] 13632
nohup: 忽略输入并把输出追加到"nohup.out" 回车


[root@node1 bin]# jps
13490 RunJar
13632 RunJar


[root@node1 bin]# 
[root@node1 apache-hive-3.1.2-bin]# lsof -i:10000
COMMAND   PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
java    18804 root  520u  IPv6 266172      0t0  TCP *:ndmp (LISTEN)

4.再连接hive服务

一代客户端连接命令: hive 注意: hive直接连接成功,直接可以编写sql语句
二代客户端连接命令: beeline 注意: 以后建议用二代客户端
二代客户端远程连接命令: !connect jdbc:hive2://node1:10000
注意: hive用户名是root 密码为空

一代客户端示例:

[root@node1 /]# hive
...
hive> show databases;
OK
default
Time taken: 0.5 seconds, Fetched: 1 row(s)
hive> exit;

二代客户端示例:

[root@node1 /]# beeline

# 先输入!connect jdbc:hive2://node1:10000连接
beeline> !connect jdbc:hive2://node1:10000

# 再输入用户名root,密码不用输入直接回车即可
Enter username for jdbc:hive2://node1:10000: root
Enter password for jdbc:hive2://node1:10000:

# 输入show databases;查看表
0: jdbc:hive2://node1:10000> show databases;
INFO  : Concurrency mode is disabled, not creating a lock manager
+----------------+
| database_name  |
+----------------+
| default        |
+----------------+
1 row selected (1.2 seconds)