伪分布式hadoop上hive的远程模式安装,详解

本文详细介绍了如何在伪分布式Hadoop上安装Hive,包括启动Hadoop、ZooKeeper、MySQL的前提,Hive的下载、配置,以及如何连接MySQL并启动Hive服务,特别强调了Hive元数据的远程存储配置。
摘要由CSDN通过智能技术生成

hive是基于Hadoop的一个数据仓库工具,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。

安装前的准备
1、启动hive之前需要启动hadoop 、zoopkeeper 和mysql,所以需要先行安装这些软件。本文的环境建立,可参考(1)hadoop伪分布式安装、配置,详解。(2)linux上mysql的安装与配置,超全

这里再简单介绍下zookeeper的安装
本文下载的是版本是zookeeper-3.4.5-cdh5.14.2,可用下载链接,cdh版本的相关软件都可到此处下载:http://archive.cloudera.com/cdh5/cdh/5/包名

解压文件到自己定的文件夹下

tar -zxf zookeeper-3.4.5-cdh5.14.2.tar.gz -C /opt/install/

设置hbase文件夹,方便在hbase托管状态下建立物理文件

mkdir /home/hadoop/hbase

到目录下修改配置

#到达对应文件夹下
cd /opt/install/zookeeper-3.4.5-cdh5.14.2/
#复制配置文件
cp zoo_sample.cfg zoo.cfg
#修改
vi zoo.cfg 

修改值为建立的文件夹

dataDir=/home/hadoop/hbase

添加环境变量并应用配置

# ZOOKEEPER_HOME
export ZOOKEEPER_HOME=/opt/install/zookeeper-3.4.5-cdh5.14.2/
export PATH=$PATH:$ZOOKEEPER_HOME/bin

2、为安全起见,大家可以新建一个linux普通用户和mysql用户供调用hive,我这为演示方便直接就采用root用户连接的方式了。


hive下载

本文下载的是版本是hive-1.1.0-cdh5.14.2.tar.gz,可用下载链接,其它的cdh版本的相关软件可到此选择下载:http://archive.cloudera.com/cdh5/cdh/5/。可用wget下载,可从浏览器下载后通过ftp方式送到虚拟机中,在此不再赘述。

将hive包解压到自己定的文件夹,我这里是/opt/install

tar -zxf hive-1.1.0-cdh5.14.2.tar.gz -C /opt/install/

在/etc/profile下配置其环境变量,注意不要忘了应用配置(source /etc/profile)

#HIVE_HOME
export HIVE_HOME=/opt/install/hive-1.1.0-cdh5.14.2
export PATH=$PATH:$HIVE_HOME/bin

hive的配置

转到hive对应的文件夹下有conf文件夹下,我们的主要配置都在此处

cd /opt/install/hive-1.1.0-cdh5.14.2/conf/

hive-site.xml------ hive-env.xml------hive.log4j-----

新建hive-site.xml文件,编辑如下

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<property>
		<name>hive.metastore.warehouse.dir</name>
		
  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值