Hadoop+Hive环境的搭建,在这儿我就不一一介绍Hadoop和Hive了,直接进入正题
1. 准备工作:Hadoop,Hive二进制文件下载路径,在这儿我只直接下载的编译好的二进制文件,这样我们直接解压就可以使用了(省去自己编译的过程),里面有很多下载路径。
Hive:http://mirror.bit.edu.cn/apache/hive/hive-2.1.1/(注意下载二进制包)
Hadoop:http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz
2. 在我们自己的linux服务器里面(我用的是腾讯云服务器),wget 命令下载hive和hadoop
wget http://mirror.bit.edu.cn/apache/hive/hive-2.1.1/apache-hive-2.1.1-bin.tar.gz
wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz
3. 安装hadoop
在安装Hadoop前,需要安装java环境,在这儿不再介绍,默认已经安装好java环境
我将hadoop解压到当前用户目录下的opt目录下:
$ tar -zxvf hadoop-2.7.3.tar.gz
$ mv hadoop-2.7.3.tar.gz/home/ranrl/opt/hadoop-2.7.3
添加环境变量,在~/.bashrc 或者~/.bash_profile 中添加
export HADOOP_HOME=/home/ranrl/opt/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/bin到此,Haoop已经安装成功,因为Hadoop默认是本地模式,当然我们可以安装分布式(hadoop集群),或者伪分布式,在这儿我是为了安装hive,所以就只安装单台Hadoop环境
测试:hadoop dfs -ls / 能够执行简单地hadoop命令
4.安装hive
$ tar -zxvf apache-hive-2.1.1-bin.tar.gz
$ mv apache-hive-2.1.1-bin.tar.gz hive-2.1.1
配置环境变量(同上)export HIVE_HOME=/home/ranrl/opt/hive-2.1.1
export HIVE_CONF_DIR=$HIVE_HOME/conf
export PATH=\$PATH:\$HIVE_HOME/bin在hive的目录下,新建warehouse、tmp、log文件夹。
修改配置文件,下面是hive的配置文件conf目录
-rw-r--r-- 1 ranrl root 1596 Nov 29 05:32 beeline-log4j2.properties.template
-rw-r--r-- 1 ranrl root 229198 Nov 30 03:46 hive-default.xml.template
-rw-r--r-- 1 ranrl root 2378 Nov 29 05:35 hive-env.sh.template
-r