Hadoop+Hive环境的搭建

本文跳过Hadoop和Hive的基础介绍,直接展示如何在Linux服务器上搭建Hadoop和Hive环境。首先从指定源下载二进制文件,接着在腾讯云服务器上使用wget下载并安装Hadoop和Hadoop依赖的Java环境。然后,安装Hive,配置环境变量,并创建必要的目录结构。使用MySQL作为Hive的元数据库,创建相应用户和权限。最后,将mysql-connector-java添加到Hive的lib目录,并使用schematool初始化Hive元数据。通过执行hive命令和简单的数据库操作验证安装成功。
摘要由CSDN通过智能技术生成

Hadoop+Hive环境的搭建,在这儿我就不一一介绍Hadoop和Hive了,直接进入正题

1. 准备工作:Hadoop,Hive二进制文件下载路径,在这儿我只直接下载的编译好的二进制文件,这样我们直接解压就可以使用了(省去自己编译的过程),里面有很多下载路径。

Hive:http://mirror.bit.edu.cn/apache/hive/hive-2.1.1/(注意下载二进制包)
Hadoop:http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

2. 在我们自己的linux服务器里面(我用的是腾讯云服务器),wget 命令下载hive和hadoop

wget http://mirror.bit.edu.cn/apache/hive/hive-2.1.1/apache-hive-2.1.1-bin.tar.gz
wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

3. 安装hadoop
在安装Hadoop前,需要安装java环境,在这儿不再介绍,默认已经安装好java环境

我将hadoop解压到当前用户目录下的opt目录下:
$ tar -zxvf hadoop-2.7.3.tar.gz
$ mv hadoop-2.7.3.tar.gz

/home/ranrl/opt/hadoop-2.7.3

添加环境变量,在~/.bashrc 或者~/.bash_profile 中添加

export HADOOP_HOME=/home/ranrl/opt/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/bin

到此,Haoop已经安装成功,因为Hadoop默认是本地模式,当然我们可以安装分布式(hadoop集群),或者伪分布式,在这儿我是为了安装hive,所以就只安装单台Hadoop环境
测试:hadoop dfs -ls / 能够执行简单地hadoop命令

4.安装hive

$ tar -zxvf apache-hive-2.1.1-bin.tar.gz
$ mv apache-hive-2.1.1-bin.tar.gz hive-2.1.1
配置环境变量(同上)

export HIVE_HOME=/home/ranrl/opt/hive-2.1.1
export HIVE_CONF_DIR=$HIVE_HOME/conf
export PATH=\$PATH:\$HIVE_HOME/bin

在hive的目录下,新建warehouse、tmp、log文件夹。
修改配置文件,下面是hive的配置文件conf目录

-rw-r--r-- 1 ranrl root   1596 Nov 29 05:32 beeline-log4j2.properties.template
-rw-r--r-- 1 ranrl root 229198 Nov 30 03:46 hive-default.xml.template
-rw-r--r-- 1 ranrl root   2378 Nov 29 05:35 hive-env.sh.template
-r
  • 0
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值