安装配置Hive 1.2.2数据仓库(CentOS7下的Hive 1.2.2 数据仓库的安装部署)

工具/原料:

1.jdk1.8,若未安装,可参考:

https://mp.csdn.net/postedit/84400558

2.hadoop 2.7.7(或其他可兼容版本)若未安装,可参考:

https://mp.csdn.net/postedit/84401445

3.mysql 5.6(或其他版本)若未安装,可参考:

https://mp.csdn.net/postedit/84524888

4.hive1.2.2下载地址:

http://mirror.bit.edu.cn/apache/hive/hive-1.2.2/apache-hive-1.2.2-bin.tar.gz

安装过程:

1.准备hive的安装路径,本人喜欢将自己安装的软件放在/apps/路径下,根据自己的需求创建目录

cd /

sudo mkdir -r /apps/hive

2.切换到下载好的hive路径下,我这里的hive压缩包存放在/data目录下,解压hive

cd /data

sudo tar -zxvf apache-hive-1.2.2-bin.tar.gz

3.将解压好的hive拷贝到安装路径/apps下,并重命名为hive

sudo cp -r apache-hive-1.2.2-bin /apps/hive/

4.修改用户环境变量,将hadoop的路径添加到path中。先打开用户环境变量文件。

sudo vim ~/.bashrc

5.将以下内容追加到环境变量~/.bashrc文件中。

#hive
export HIVE_HOME=/apps/hive
export PATH=$HIVE_HOME/bin:$PATH

6.执行source命令,让java环境变量生效。

source ~/.bashrc

7.下面配置Hive,切换到/apps/hive/conf目录下,并创建Hive的配置文件hive-site.xml。

cd /apps/hive/conf

vim hive-site.xml

8.修改<configuration>标签之间相关配置。

<configuration>
        <property>
                <name>javax.jdo.option.ConnectionURL</name>
                <value>jdbc:mysql://127.0.0.1:3306/hivedb?createDatabaseIfNotExist=true&amp;characterEncoding=latin1</value>
        </property>
        <property>
                <name>javax.jdo.option.ConnectionDriverName</name>
                <value>com.mysql.jdbc.Driver</value>
        </property>
        <property>
                <name>javax.jdo.option.ConnectionUserName</name>
                <value>root</value>
        </property>
        <property>
                <name>javax.jdo.option.ConnectionPassword</name>
                <value>123456</value>
        </property>
</configuration>

配置项说明:

javax.jdo.option.ConnectionURL:数据库链接字符串。

javax.jdo.option.ConnectionDriverName:连接数据库的驱动包。

javax.jdo.option.ConnectionUserName:数据库用户名。

javax.jdo.option.ConnectionPassword:连接数据库的密码。

数据库的用户名及密码,需要设置为自身系统的数据库用户名及密码。

注:此处配置非必须!!!

若需要使用python语言操作数据库,可添加相关thrift、hiveserver2的相关配置,(本人的一个项目中有用到)

        <property>
                <name>hive.metastore.warehouse.dir</name>
                <value>/user/hive/warehouse</value>
        </property>
        <property>
                <name>hive.server2.thrift.port</name>
                <value>10000</value>
        </property>
        <property>
                <name>hive.server2.thrift.bind.host</name>
                <value>127.0.0.1</value>
        </property>
        <property>
                <name>hive.server2.enable.doAs</name>
                <value>false</value>
        </property>

9.修改hive-env.sh文件:

vim hive-env.sh

追加Hadoop的路径,以及Hive配置文件的路径到文件中。

# Set HADOOP_HOME to point to a specific hadoop install directory
# HADOOP_HOME=${bin}/../../hadoop
HADOOP_HOME=/apps/hadoop

# Hive Configuration Directory can be controlled by:
# export HIVE_CONF_DIR=
export HIVE_CONF_DIR=/apps/hive/conf

# Folder containing extra libraries required for hive compilation/execution can be controlled by:
# export HIVE_AUX_JARS_PATH=
export HIVE_AUX_JARS_PATH=/apps/hive/lib

10.配置Mysql,用于存储Hive的元数据(若未安装Mysql,请参考https://mp.csdn.net/postedit/84524888)。

首先,需要保证Mysql已经启动。执行以下命令,查看Mysql的运行状态,若Mysql未启动则启动Mysql。

systemctl status mysqld.service

systemctl start mysqld.service

11.开启Mysql数据库,此时会提示输入密码。

mysql -u root -p

12.创建名为hivedb的数据库,编码格式为latin1,用于存储元数据。

create database hivedb CHATACTER SET latin1;

查看数据库是否创建成功。

show databases;

下面,输入exit退出Mysql。

exit

13.执行测试。由于Hive对数据的处理,依赖MapReduce计算模型,所以需要保证Hadoop相关进程已经启动。(若未安装hadoop,可参考https://mp.csdn.net/postedit/84401445)

输入jps,查看进程状态。若Hadoop相关进程未启动,则需启动Hadoop。

jps

cd /apps/hadoop/sbin

./start-all.sh

14.启动Hadoop后,在终端命令行界面,直接输入hive便可启动Hive命令行模式。

至此,hive数据仓库安装配置成功!

 

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值