【无标题】

本文详细介绍了如何在Hadoop集群上安装和配置Hive,包括下载Hive压缩包,设置环境变量,配置Hive-site.xml以连接MySQL数据库,以及初始化Hive元数据和启动Hive服务的过程。
摘要由CSDN通过智能技术生成

Hive的安装与配置通常涉及以下步骤:

  1. 确保Hadoop集群已经安装并运行。

  2. 下载Hive的压缩包,并解压到集群中的某个节点上。

  3. 设置环境变量,如HIVE_HOME和修改PATH变量。

  4. 配置Hive的配置文件hive-site.xml

  5. 将Hive的bin目录加入到PATH环境变量中,以便在任何地方都可以使用Hive命令。

  6. 启动Hive服务。

# 下载Hive
wget https://downloads.apache.org/hive/stable/apache-hive-<version>-bin.tar.gz
 
# 解压Hive
tar -xzvf apache-hive-<version>-bin.tar.gz
 
# 设置环境变量
export HIVE_HOME=/path/to/apache-hive-<version>-bin
export PATH=$PATH:$HIVE_HOME/bin
 
# 配置hive-site.xml
cp $HIVE_HOME/conf/hive-default.xml.template $HIVE_HOME/conf/hive-site.xml
 
# 修改hive-site.xml,设置数据库连接信息等
# 例如使用内置的Derby数据库
 
# 启动Hive (需要Hadoop已经启动)
hive

一.下载和解压安装文件


1. 解压安装文件

2.关闭 Linux 系统防火墙,并将防火墙设定为系统开机并不自动启动


3.查看Linux 系统自带的 MariaDB并卸载


二.安装 MySQL 数据库

1.MySQL 数据库的 mysql common、mysql libs、mysql client 软件包

        
2.安装 mysql server 软件包


3.修改 MySQL 数据库配置,在/etc/my.cnf 文件中添加


4.启动 MySQL 数据库


5.查询 MySQL 数据库默认密码


6.MySQL 数据库初始化


7.添加 root 用户从本地和远程访问 MySQL 数据库表单的授权


三.配置 Hive 组件


1.设置 Hive 环境变量并使其生效


2.修改 Hive 组件配置文件


3.通过 vi 编辑器修改 hive-site.xml 文件实现 Hive 连接 MySQL 数据库,并设定 Hive 临时文件存储路径


1)设置 MySQL 数据库连接
javax.jdo.option.ConnectionURL
jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true&us eSSL=false
JDBC connect string for a JDBC metastore
2)配置 MySQL 数据库 root 的密码
javax.jdo.option.ConnectionPassword
Password123$
password to use against s database
3)验证元数据存储版本一致性。若默认 false,则不用修改。 hive.metastore.schema.verification
false
Enforce metastore schema version consistency.
True: Verify that version information stored in is compatible with one from Hive jars. Also disable automatic
False: Warn if the version information stored in metastore doesn't match with one from in Hive jars.
4)配置数据库驱动
javax.jdo.option.ConnectionDriverName
com.mysql.jdbc.Driver
Driver class name for a JDBC metastore
5)配置数据库用户名
javax.jdo.option.ConnectionUserName 为 root。
javax.jdo.option.ConnectionUserName
root
Username to use against metastore database
6 )将以下位置的 ${system:java.io.tmpdir}/${system:user.name} 替换为 “/usr/local/src/hive/tmp”目录及其子目录。 需要替换以下 4 处配置内容:
hive.querylog.location
/usr/local/src/hive/tmp
Location of Hive run time structured log file
hive.exec.local.scratchdir
/usr/local/src/hive/tmp
hive.downloaded.resources.dir
/usr/local/src/hive/tmp/resources
hive.server2.logging.operation.log.location
/usr/local/src/hive/tmp/operation_logs
7)在 Hive 安装目录中创建临时文件夹 tmp。
[hadoop@master ~]$ mkdir /usr/local/src/hive/tmp

四.初始化 hive 元数据

1.将 MySQL 数据库驱动(/opt/software/mysql-connector-java-5.1.46.jar)拷贝到 Hive 安装目录的 lib 下


2.重新启动 hadooop


3.初始化数据库


4.启动 hive

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值