Ubuntu下安装配置Hive

【提示】在安装Hive之前,首先看你自己的Hadoop和下载的Hive是否相容。一般情况Hive1的几的版本不支持Hadoop3以上的。

Hive的安装和配置

Hive的官网地址http://hive.apache.org/

下载地址http://archive.apache.org/dist/hive/

我下载的是apache-hive-1.2.1-bin.tar.gz,本文教程也是根据此版本进行的

1.将apache-hive-1.2.1-bin.tar.gz解压到/opt/module/目录下面

sudo tar -zxvf ~/resource/apache-hive-1.2.1-bin.tar.gz -C /opt/module

2.修改apache-hive-1.2.1-bin.tar.gz的名称为hive(方便以后查找和操作)

cd /opt/module

sudo mv apache-hive-1.2.1-bin/ hive
3.修改/opt/module/hive/conf目录下的hive-env.sh.template名称为hive-env.sh

hadoop@ubuntu:/opt/module$ cd /opt/module/hive/conf
hadoop@ubuntu:/opt/module/hive/conf$ sudo  mv hive-env.sh.template hive-env.sh

 4.配置hive-env.sh文件

hadoop@ubuntu:/opt/module/hive/conf$ sudo vim hive-env.sh

添加一下代码:

export HADOOP_HOME=/usr/local/hadoop   #为你的hadoop路径

export HIVE_CONF_DIR=/opt/module/hive/conf

Hadoop集群配置Hive

1.首先必须启动hdfs和yarn

./sbin/start-dfs.sh

./sbin/start-yarn.sh

2.在HDFS上创建/tmp和/user/hive/warehouse两个目录并修改他们的同组权限可写

hadoop@ubuntu:/usr/local/hadoop$ ./bin/hdfs dfs -mkdir /tmp
hadoop@ubuntu:/usr/local/hadoop$ ./bin/hdfs dfs -mkdir -p /user/hive/warehouse


hadoop@ubuntu:/usr/local/hadoop$ ./bin/hdfs dfs -chmod g+w /tmp
hadoop@ubuntu:/usr/local/hadoop$ ./bin/hdfs dfs -chmod g+w /user/hive/warehouse

3.启动Hive

bin/hive

如果启动的时候遇到如下问题:

 原因:java.lang.IllegalargumentException:无法识别的Hadoop主版本

就是Hadoop版本和Hive的版本对不上,hadoop3以上的版本不支持Hive1.2.1

我最开始就是版本下的对不上,所以就重新配置了hadoop,其实也可以下载更好版本的Hive,能与Hadoop版本兼容的。

 

转载于:https://www.cnblogs.com/lovema1210/p/11458868.html

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
要在 Ubuntu 20.04 上安装 Hive,您可以按照以下步骤进行操作: 1. 安装 Java Development Kit(JDK): ``` sudo apt update sudo apt install default-jdk ``` 2. 下载和解压 Hive: ``` wget https://downloads.apache.org/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz tar xf apache-hive-3.1.2-bin.tar.gz sudo mv apache-hive-3.1.2-bin /opt/hive ``` 3. 配置环境变量: 打开 `~/.bashrc` 文件: ``` nano ~/.bashrc ``` 在文件末尾添加以下内容: ``` export HIVE_HOME=/opt/hive export PATH=$PATH:$HIVE_HOME/bin ``` 保存并关闭文件,然后执行以下命令使更改生效: ``` source ~/.bashrc ``` 4. 配置 Hive: 将 `hive-default.xml.template` 文件复制为 `hive-site.xml`: ``` cp /opt/hive/conf/hive-default.xml.template /opt/hive/conf/hive-site.xml ``` 5. 配置 MySQL 数据库(用于元数据库): 安装 MySQL 服务器: ``` sudo apt install mysql-server ``` 登录到 MySQL 控制台并创建一个新的数据库和用户: ``` sudo mysql CREATE DATABASE metastore; CREATE USER 'hiveuser'@'localhost' IDENTIFIED BY 'your_password'; GRANT ALL PRIVILEGES ON metastore.* TO 'hiveuser'@'localhost'; FLUSH PRIVILEGES; EXIT; ``` 接下来,编辑 `hive-site.xml` 文件: ``` sudo nano /opt/hive/conf/hive-site.xml ``` 找到以下行: ```xml <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost/metastore?createDatabaseIfNotExist=true</value> ... </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>hiveuser</value> ... </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>your_password</value> ... </property> ``` 将 `your_password` 替换为您在上一步中设置的密码。 6. 启动 Hive Metastore 服务: ``` schematool -dbType mysql -initSchema # 这将初始化元数据库 hiveserver2 # 启动 Hive 服务 ``` 现在,您已经成功安装配置Hive。您可以使用 Hive 查询和管理大规模数据集。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值