Hive安装文档

Hive安装文档

Hive的安装和使用

​ 版本约定：

​ JAVA_HOME=/usr/local/soft/jdk1.8.0_171

​ HADOOP_HOME=/usr/local/soft/hadoop-2.7.6

​ HIVE_HOME=/usr/local/soft/hive-1.2.1

一、离线安装MySQL

（已经安装过MySQL可以跳过此步骤）

1、查看mysql的依赖

​ rpm -qa | grep mysql

2、删除mysql的依赖

​ rpm -e --nodeps rpm -qa | grep mysql或者

​ rpm -e --nodeps rpm -qa | grep MySQL

3、离线安装mysql

​ 安装mysql-server：

​ rpm -ivh MySQL-server-5.1.73-1.glibc23.x86_64.rpm

安装mysql-client：

​ rpm -ivh MySQL-client-5.1.73-1.glibc23.x86_64.rpm

4、启动mysql服务（一般安装MySQL-server时，会自动启动MySQL，故可跳过第四步，如果启动了，再执行如下命令，则会报错！！！）

​ service mysql start

5、加入到开机启动项

​ chkconfig mysql on

6、初始化配置mysql服务（第一次直接回车，后面跟着提示设置密码，自己设置密码）

# 通常情况下可以直接执行mysql_secure_installation命令（该命令已在环境变量中）

# 若执行mysql_secure_installation命令时提示找不到，则查找mysql初始化脚本位置

whereis mysql_secure_installation

# 再根据找到的路径执行，通常该命令如下：

/usr/bin/mysql_secure_installation

​

如果在/usr/bin/mysql_secure_installation 一直是下面报错后

*解决办法：*

ps aux | grep mysql
然后KILLmysql相关全部进程 Pid是进程号
kill -9 pid1 pid2 …

比如 kill -9 8301 8302
然后再从第4步重新操作。

7、访问mysql服务并修改权限

7.1 登录mysql：（密码请指定mysql_secure_installation初始化脚本执行时自己设定的密码，这里是123456，注意-p后面没有空格）

​ mysql -uroot -p123456

7.2 切换数据库：

use mysql;

7.3 查看用户权限表：

select user,host from user;

7.4 将root用户允许登录的host设为’%’（表示在任意IP地址都可以使用root用户登录mysql，否则只能在localhost登录）

update user set host = ‘%’ where user = ‘root’; （提示报错不用管，忽略）

7.5 刷新权限，让配置生效：

flush privileges

二、修改MySQL编码

1、修改mysql编码为UTF-8

1.1 编辑配置文件

​ vim /etc/my.cnf

1.2 加入以下内容：

[client]

default-character-set = utf8mb4

[mysqld]

character-set-server = utf8mb4

collation-server = utf8mb4_general_ci

​ 1.3 重启mysql

​ systemctl restart mysqld

​ 1.4 登录mysql

​ mysql -uroot -p123456

​ 1.5 查看mysql当前字符集

​ show variables like ‘%char%’;

​

三、安装Hive

前提是：mysql和hadoop必须已经成功启动了

1、将apache-hive-1.2.1-bin.tar.gz上传至linux环境

2、将apache-hive-1.2.1-bin.tar.gz使用命令解压

tar -zxvf apache-hive-1.2.1-bin.tar.gz

​ 修改目录名称

mv apache-hive-1.2.1-bin hive-1.2.1

3、配置环境变量

vim /etc/profile

export HIVE_HOME=/usr/local/soft/hive-1.2.1
export PATH=.:$PATH:$JAVA_HOME/bin:$REDIS_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin
保存退出
source /etc/profile

4、进入hive-1.2.1/conf目录，复制配置文件并重命名（修改失败后可以删除后重新拷贝修改）

cp hive-env.sh.template hive-env.sh
cp hive-default.xml.template hive-site.xml

​ 4.1修改hive-env.sh

​ 加入三行内容（根据自己的目录和实际情况来添加）

HADOOP_HOME=/usr/local/soft/hadoop-2.7.6

JAVA_HOME=/usr/local/soft/jdk1.8.0_171

HIVE_HOME=/usr/local/soft/hive-1.2.1

​ 4.2修改hive-site.xml

//指定MySQL的服务
<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://192.168.40.110（自己的IP）:3306/hive?createDatabaseIfNotExist=true&amp;useUnicode=true&amp;characterEncoding=utf8&amp;useSSL=false</value>
    <description>JDBC connect string for a JDBC metastore</description>
</property>

//MySQL的驱动包
<property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
    <description>Driver class name for a JDBC metastore</description>
</property>

//MySQL的用户名
<property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
    <description>Username to use against metastore database</description>
  </property>
  
//MySQL的用户密码
 <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>123456</value>
    <description>password to use against metastore database</description>
  </property>
  
//hive安装目录的tmp目录
 <property>
    <name>hive.querylog.location</name>
    <value>/usr/local/soft/hive-1.2.1/tmp</value>
    <description>Location of Hive run time structured log file</description>
  </property>

//同上
<property>
    <name>hive.exec.local.scratchdir</name>
    <value>/usr/local/soft/hive-1.2.1/tmp</value>
    <description>Local scratch space for Hive jobs</description>
  </property>
//同上
<property>
    <name>hive.downloaded.resources.dir</name>
    <value>/usr/local/soft/hive-1.2.1/tmp</value>
    <description>Temporary local directory for added resources in the remote file system.</description>
  </property>
  

4.3拷贝mysql驱动到$HIVE_HOME/lib目录下

 cp /usr/local/soft/mysql-connector-java-5.1.49.jar ../lib/

4.5将hive的jline-2.12.jar拷贝到hadoop对应目录下，hive的 jline-2.12.jar 位置在 ：

/usr/local/soft/hive-1.2.1/lib/jline-2.12.jar

将hive的jar拷过去hadoop下：

cp /usr/local/soft/hive-1.2.1/lib/jline-2.12.jar /usr/local/soft/hadoop-2.7.6/share/hadoop/yarn/lib/

至此hive安装成功

[root@master0 soft]# hive

Logging initialized using configuration in jar:file:/usr/local/soft/hive-1.2.1/lib/hive-common-1.2.1.jar!/hive-log4j.properties
hive>
hive> show databases;
OK
default
Time taken: 0.413 seconds, Fetched: 1 row(s)
hive>