Hive内嵌模式说明:
1 安装环境介绍
1.1 相关组件版本
组件版本说明 |
|
|
组件名称 | 版本号 | 备注 |
Ubuntu | 16.06 | 64-bit |
Hadoop | hadoop-2.5.2 | 包括HDFS、YARN |
Hive | hive-1.2.1 | N/A |
1.2 安装顺序
Hadoop-》Hive
2 安装过程
2.1 安装Hadoop
安装步骤略。运行时进行如下所示:
模块名称 | 操作系统 | IP地址 | 主机名 | 账户 | 服务 |
Hadoop | Ubuntu | 192.168.209.131 | node1 | root/root | 主节点: 4865 DataNode 4759 NameNode 5306 NodeManager 5050 SecondaryNameNode 5195 ResourceManager |
192.168.209.132 | node2 | root/root | 4483 NodeManager 4372 DataNode | ||
192.168.209.133 | node3 | root/root | 4011 DataNode 4124 NodeManager |
2.2 安装Hive
Hive的安装比较简单,本节示例中和hadoop一样安装在root用户下。
步骤 1 上传软件包。
将Hive安装包apache-hive-1.2.1-bin.tar.gz上传到node1节点的“/home”目录下。
步骤 2 解压安装包并修改名称。
tar -zxvf apache-hive-1.2.1-bin.tar.gz
mv apache-hive-1.2.1-bin hive-1.2.1
步骤 3 配置环境变量。
vi /etc/profile
export HIVE_HOME=/home/hive-1.2.1
exportPATH=$PATH:$HIVE_HOME/bin:/home/hive-1.2.1/conf
source /etc/profile
步骤 4 修改Hive配置文件。
1. 修改配置文件hive-env.sh.
cd /home/hive-1.2.1/conf
cp hive-env.sh.template hive-env.sh
# SetHADOOP_HOME to point to a specific hadoop install directory
#HADOOP_HOME=${bin}/../../hadoop
HADOOP_HOME=/home/hadoop-2.5.2
# HiveConfiguration Directory can be controlled by:
export HIVE_CONF_DIR=/home/hive-1.2.1/conf
# Foldercontaining extra ibraries required for hive compilation/execution can becontrolled by:
exportHIVE_AUX_JARS_PATH=/home/hive-1.2.1/lib
2. 修改配置文件hive-site.xml.
cd /home/hive-1.2.1/conf
cp hive-env.sh.template hive-env.sh
配置示例如下所示:
<property>
<name>hive.exec.local.scratchdir</name>
<value>/home/hive-1.2.1/iotmp</value>
<description>Local scratch space forHive jobs</description>
</property>
<property>
<name>hive.downloaded.resources.dir</name>
<value>/home/hive-1.2.1/iotmp/${hive.session.id}_resources</value>
<description>Temporary localdirectory for added resources in the remote file system.</description>
</property>
<property>
<name>hive.querylog.location</name>
<value>/home/hive-1.2.1/iotmp</value>
<description>Location of Hive runtime structured log file</description>
</property>
<property>
<name>hive.server2.logging.operation.log.location</name>
<value>/home/hive-1.2.1/iotmp/operation_logs</value>
<description>Top level directorywhere operation logs are stored if logging functionality isenabled</description>
</property>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:derby:;databaseName=metastore_db;create=true</value>
<description>JDBC connect string for aJDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>org.apache.derby.jdbc.EmbeddedDriver</value>
<description>Driver class name for aJDBC metastore</description>
</property>
3. 修改配置文件hive-config.sh
cd /home/hive-1.2.1/bin
vi hive-config.sh
配置示例如下所示:
export HADOOP_HEAPSIZE=${HADOOP_HEAPSIZE:-256}
export JAVA_HOME=/root/jdk1.8.0_131
export HADOOP_HOME=/home/hadoop-2.5.2
export HIVE_HOME=/home/hive-1.2.1
步骤 5 在HDFS上创建Hive仓库的目录(这些路径是在hive-site.xml里配置的默认路径)。
hadoop fs -mkdir /tmp
hadoop fs -mkdir /user/hive/warehouse
hadoop fs -chmod g+w /tmp
hadoop fs -chmod g+w /user/hive/warehouse
步骤 6 替换 jline.jar 包
cp /home/hive-1.2.1/lib/jline-2.12.jar /home/hadoop-2.5.2/share/hadoop/yarn/lib/
步骤 7 启动Hive(需要先启动HDFS和YARN)。
启动Hive CLI: hive
启动过程中如有报错,在网上查找解决即可。