Hive 初始环境搭建

这篇博客详细介绍了如何在 Linux 系统中搭建 Hive 2.3.3 环境,包括内嵌 Derby 和外置 MySQL 两种版本的配置步骤。内容涵盖了解压安装包、替换 jline.jar、修改 log4j.properties、配置 hive-site.xml、加入 MySQL 驱动、初始化元数据库以及启动 Hive 客户端等关键步骤。
摘要由CSDN通过智能技术生成

1、Hive 安装

1.1、内嵌 Derby 版本

(1)上传安装包 apache-hive-2.3.3-bin.tar.gz(源码包:apache-hive-2.3.3-src.tar.gz):

链接:https://pan.baidu.com/s/1-A0SQZyao7ngbRA8n7ksTQ
提取码:nxoy

(2)解压安装包:

tar -zxvf apache-hive-2.3.3-bin.tar.gz -C /home/hadoop/apps/

(3)进入到 bin 目录,运行 hive 脚本:
[hadoop@hadoop02 bin]$ ./hive

注意,如果你用的是 hadoop-2.6.5 的版本:
A、这时候一般会报错:Terminal initialization failed; falling back to unsupported,是因为 hadoop(/root/apps/hadoop-2.6.5/share/hadoop/yarn/lib)集群的 jline-0.9.94.jar 包版本过低,替换成 hive/lib 中的 jline-2.12.jar 包即可。
记住:所有 hdfs 节点都得替换 hadoop-2.6.5/share/hadoop/yarn/lib/jline-0.9.4.jar 替换成 jline-2.12.jar

B、修改 log4j.properties(如果有关于日志报错,请照此修改)
cp hive-log4j.properties.template hive-log4j.properties
将 EventCounter 修改成 org.apache.hadoop.log.metrics.EventCounter
#log4j.appender.EventCounter=org.apache.hadoop.hive.shims.HiveEventCounter
log4j.appender.EventCounter=org.apache.hadoop.log.metrics.EventCounter

如果报错就按照此方式解决,没有报错就不用管,在使用新的 hadoop-2.7.5 版本中已经不存在这个问题。所以不用关注。

1.2、外置 MySQL 版本

1.2.1、准备好 MySQL

本人博客:Linux 在线安装 mysql

1.2.2、修改配置文件 hive-site.xml

进入 hive 配置问价路径:
[hadoop@hadoop01 ~]$ cd apps/hive-2.3.3/conf/
在这里插入图片描述
[hadoop@hadoop02 conf]# touch hive-site.xml
[hadoop@hadoop02 conf]# vi hive-site.xml
在这里插入图片描述

<configuration>
	<property>
		
  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
当搭建Hive 3.1.3环境时,以下是一些基本的步骤: 1. 安装Java:确保你的机器上已经安装了Java。Hive 3.1.3需要Java 8或更高版本。 2. 下载Hive:从Apache Hive的官方网站(https://hive.apache.org/downloads.html)下载Hive 3.1.3的二进制文件。 3. 解压文件:将下载的文件解压到你选择的目录中。 4. 配置环境变量:设置Hive环境变量。在你的终端或命令提示符中,找到并编辑`~/.bashrc`或`~/.bash_profile`文件,并将以下内容添加到文件末尾: ```shell export HIVE_HOME=/path/to/hive export PATH=$PATH:$HIVE_HOME/bin ``` 然后运行`source ~/.bashrc`或`source ~/.bash_profile`使变量生效。 5. 配置Hadoop:Hive需要连接到一个Hadoop集群。在Hive目录中,进入`conf`文件夹,复制`hive-default.xml.template`并将其重命名为`hive-site.xml`。然后编辑`hive-site.xml`文件,设置以下属性: ```xml <property> <name>hive.execution.engine</name> <value>mr</value> </property> <property> <name>hive.metastore.warehouse.dir</name> <value>/user/hive/warehouse</value> </property> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:derby:;databaseName=/path/to/metastore_db;create=true</value> </property> ``` 注意替换上述代码中的路径为你的Hadoop配置和元数据存储路径。 6. 启动Hive Metastore:在Hive目录中,执行以下命令启动Hive Metastore服务: ```shell schematool -dbType derby -initSchema ``` 这将初始Hive Metastore的数据库。 7. 启动Hive CLI或Beeline:根据你的需求,可以使用Hive CLI(命令行界面)或Beeline(JDBC客户端)连接到Hive。执行以下命令启动Hive CLI: ```shell hive ``` 或者执行以下命令启动Beeline: ```shell beeline -u jdbc:hive2://localhost:10000 ``` 这将连接到本地的Hive服务。 这些步骤应该帮助你搭建Hive 3.1.3环境。根据你的需求,你可能还需要进行其他配置和调整。请参考Apache Hive的官方文档(https://cwiki.apache.org/confluence/display/Hive/Home)以获取更多详细信息和进一步的指导。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值