Linux安装Hive

该文详细介绍了在CentOS7.8系统上依次安装JDK8、Hadoop3.1.3、MySQL8以及配置Hive的过程,包括下载软件、解压缩、配置环境变量、启动服务,并特别提到了Hive与MySQL的集成配置以及HDFS目录的权限设置。
摘要由CSDN通过智能技术生成

环境:

  • centos7.8

  • jdk8

  • hadoop3.1.3

  • mysql 8

一、安装java(jdk1.8)

  1. 下载java8

Java Downloads | Oracle

  1. 解压 tar -zxvf 文件名

  1. 配置Java环境变量

#vi /etc/profile
export JAVA_HOME=/opt/soft/jdk
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH
export JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin
export PATH=$PATH:${JAVA_PATH}
  1. 使环境变量生效

source /etc/profile
  1. 检查地址是否合适

echo $JAVA_home
  1. 检验java是否安装成功

java -version

二、安装hadoop

  • 下载hadoop

Apache Hadoop

  • 解压安装

tar -zxvf hadoop文件名

  • 配置hadoop环境变量

vi /etc/profile
#HADOOP_HOME  
export HADOOP_HOME=/opt/soft/hadoop
export PATH=$PATH:$HADOOP_HOME/bin 
export PATH=$PATH:$HADOOP_HOME/sbin 
  • 使环境变量生效

source /etc/profile
  • 检查是否安成功

hadoop version

三、安装mysql

参考另一篇文章

四、安装Hive

  1. 下载hive安装包(官网)

Downloads (apache.org)

  1. 解压(tar -zxvf)

  1. 修改环境变量

#vi /etc/profile
对配置文件进行修改,在文件末尾添加以下内容:
#hive environment
HIVE_HOME=/opt/soft/hive
PATH=$HIVE_HOME/bin:$PATH
export HIVE_HOME PATH
#source /etc/profile(使环境生效)
echo $HIVE_HOME #查看路径是否正确
2.复制备份文件(/opt/soft/hive/conf)
cd ~/hive/apache-hive-2.1.1-bin/conf
cp hive-env.sh.template hive-env.sh
cp hive-log4j2.properties.template hive-log4j2.properties
cp hive-exec-log4j2.properties.template hive-exec-log4j2.properties
cp hive-default.xml.template hive-site.xml
3. 配置文件(opt/soft/hive/conf/hive-env.sh)
HADOOP_HOME=/opt/soft/hive
export HIVE_CONF_DIR=/opt/soft/hive/conf
export HIVE_AUX_JARS_PATH=/opt/soft/hive/lib
4. 启动hadoop(hdfs)
start-all.sh
jps
5.在HDFS中创建Hive的临时文件
hadoop fs -mkdir -p /user/hive/tmp  #在HDFS中创建Hive的临时文件目录tmp
hadoop fs -mkdir -p /user/hive/warehouse #~~创建Hive的数据存储目录warehourse
hadoop fs -mkdir -p /user/hive/log #~~创建Hive的日志文件目录log

#添加三个目录的用户组写权限
hadoop fs -chmod 777 /user/hive/tmp
hadoop fs -chmod 777 /user/hive/warehourse
hadoop fs -chmod 777 /user/hive/log
  1. 修改配置文件(hive-site.xml)
#找到Name修改value的值

<configuration>
    <property>
        <name>hive.exec.scratchdir</name>
        <value>/user/hive/tmp</value>
    </property>
<!-- 指定Hive的数据存储目录,需要是位于HDFS上的目录 -->
    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/user/hive/warehouse</value>
    </property>

    <property>
        <name>hive.querylog.location</name>
        <value>/user/hive/log</value>
        <description>Location of Hive run time structured log file</description>
        </property>
</configuration>

#小技巧   
  1."/关键字"可直接进行搜索;
  2.":set nu"可展示行数;
  3.":行数"可直接跳转到所需行
7.创建hive源数据数据库
mysql -u root -p 
CREATE DATABASE hive;(创建数据库hive)
USE hive;(切换到新创建的hive数据库)
CREATE USER 'hive'@'%' IDENTIFIED BY 'hive';(创建数据库用户hive)
GRANT ALL ON hive.* TO 'hive'@'%';(设置hive数据库的访问权限,hive用户拥有所有操作权限并支持远程访问)
FLUSH PRIVILEGES;(刷新数据库权限信息)
show databases;
quit;(退出MySQL数据库控制台)
8.修改配置文件(hive-site.xml)
#<value>中的值是需要修改的

<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://hadoop1:3306/hive?createDatabaseIfNotExist=true&amp;characterEncoding=UTF-8&amp;useSSL=false</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>hive</value>#hive的数据库名(在mysql中创建)
</property>
<property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>Hive-123</value>#hive数据库的密码
</property>
9.上传文件(.jar包)

MySQL的数据库连接工具包“mysql-connector-java-5.1.42-bin.jar”上传至hive的lib目录下

cp /opt/soft/mysql-connector-java-5.1.42-bin-jar /opt/soft/hive/lib
  1. 修改配置文件(hive-site.xml)
在编辑器中使用快捷键“:”进入到编辑器的命令模式,也称为末行模式,然后使用命令“%s#${system:java.io.tmpdir}#/home/admin/hive/tmp#g”
以及“%s#${system:user.name}#${user.name}#g”
替换掉配置文件中的原有配置内容。
11.Hive初始化
schematool -initSchema -dbType mysql
  1. 启动Hive
#hive
>show databases;
>show functions;
>quit;

Hive安装完毕

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值