hive 配置用户名_Hive——第一章（安装与配置）

基础知识：Hive简介

Hive 是一个基于Hadoop的开源数据仓库工具，用于存储和处理海量结构化数据。 它把海量数据存储于 hadoop 文件系统，而不是数据库，但提供了一套类数据库的数据存储和处理机制，并采用 HQL (类 SQL )语言对这些数据进行自动化管理和处理。我们可以把 Hive 中海量结构化数据看成一个个的表，而实际上这些数据是分布式存储在 HDFS 中的。 Hive 经过对语句进行解析和转换，最终生成一系列基于 hadoop 的 map/reduce 任务，通过执行这些任务完成数据处理。

Hive 诞生于 facebook 的日志分析需求，面对海量的结构化数据， Hive 以较低的成本完成了以往需要大规模数据库才能完成的任务，并且学习门槛相对较低，应用开发灵活而高效。

Hive特点不想用程序语言开发MapReduce的朋友比如DB们，熟悉SQL的朋友可以使用Hive开离线的进行数据处理与分析工作。

Hive现在适合在离线下进行数据的操作，就是说不适合在挂在真实的生产环境中进行实时的在线查询或操作，因为一个字“慢”。

起源于FaceBook,Hive在Hadoop中扮演数据仓库的角色。建立在Hadoop集群的最顶层，对存储在Hadoop群上的数据提供类SQL的接口进行操作。你可以用 HiveQL进行select,join,等等操作。

如果你有数据仓库的需求并且你擅长写SQL并且不想写MapReduce jobs就可以用Hive代替。

相关下载：apache-hive-1.2.1-bin.tar.gz(下载地址)

1.1、Hive安装与配置

1、准备

在部署节点中选择一个数据节点，作为hive用的节点。(本实验使用slave1)

注意：jdk选择jdk-8u112-linux-x64.tar.gz

2、安装MySQL服务器

相关命令：sudo apt-get install mysql-server

3、安装MySQL客户端

相关命令：sudo apt-get install mysql-client

sudo apt-get install libmysqlclient-dev

4、数据库操作

1)安装hive,之前，先在mysql上创建一个hive,数据库，并在hive数据库中建立表user

相关命令：mysql -u root -p

create database hive;

use hive;

create table user(Host char(20),User char(10),Password char(20));

2)进入mysql,赋予权限,密码自己改

相关命令：insert into user(Host,User,Password) values("localhost","hive","hive");

FLUSH PRIVILEGES;

GRANT ALL PRIVILEGES ON *.* TO 'hive'@'localhost' IDENTIFIED BY 'hive';

FLUSH PRIVILEGES;

5、解压hive安装包之后，配置环境

相关命令与内容：sudo tar -xzvf apache-hive-1.2.1-bin.tar.gz -C /home/hadoop

sudo gedit /etc/profile

------------------------------内 容------------------------------

#hive

export HIVE_HOME=/home/hadoop/apache-hive-1.2.1-bin

export PATH=$PATH:$HIVE_HOME/bin

------------------------------内 容------------------------------

source /etc/profile

6、修改hive/conf下的几个template模板

相关命令：sudo cp hive-env.sh.template hive-env.sh

sudo cp hive-default.xml.template hive-site.xml

7、配置hive-env.sh文件，指定HADOOP_HOME

相关内容：HADOOP_HOME=/usr/local/hadoop

8、修改hive-site.xml文件，指定MySQL数据库驱动、数据库名、用户名及密码相关内容：

javax.jdo.option.ConnectionURL

jdbc:mysql://localhost:3306/hive_metadata?createDatabaseIfNotExist=true

JDBC connect string for a JDBC metastore

javax.jdo.option.ConnectionDriverName

com.mysql.jdbc.Driver

Driver class name for a JDBC metastore

javax.jdo.option.ConnectionUserName

hive

Username to use against metastore database

javax.jdo.option.ConnectionPassword

hive

password to use against metastore database

hive.exec.local.scratchdir

/home/hive/scratchdir

Local scratch space for Hive jobs

hive.downloaded.resources.dir

/home/hive/resourcesdir

Temporary local directory for added resources in the remote file system.

hive.querylog.location

/home/hive/querylog

Location of Hive run time structured log file

hive.server2.logging.operation.log.location

/home/hive/operation_logs

Top level directory where operation logs are stored if logging functionality is enabled

9、创建目录并更改用户

相关命令：sudo mkdir -p /home/hive/scratchdir

sudo mkdir -p /home/hive/resourcesdir

sudo mkdir -p /home/hive/querylog

sudo mkdir -p /home/hive/operation_logs

sudo chown -R hadoop.hadoop /home/hive

sudo chown -R hadoop.hadoop /home/hadoop/apache-hive-1.2.1-bin

10、修改hive/bin下的hive-config.sh文件，设置JAVA_HOME,HADOOP_HOME

相关内容：export JAVA_HOME=/usr/lib/jdk1.8.0_112/

export HADOOP_HOME=/usr/local/hadoop

export HIVE_HOME=/home/hadoop/apache-hive-1.2.1-bin

11、下载mysql-connector-java-5.1.27-bin.jar文件，并放到$HIVE_HOME/lib目录下

12、在HDFS中创建/tmp和/user/hive/warehouse并设置权限(master节点)

相关命令：hadoop fs -mkdir /tmp

hadoop fs -mkdir -p /user/hive/warehouse

hadoop fs -chmod g+w /tmp

hadoop fs -chmod g+w /user/hive/warehouse

13、启动hive(注意:可以在/etc/profile或/etc/bash.bashrc配置，重启计算机后直接hive)

相关命令：cd $HIVE_HOME/bin

./hive

报错：[ERROR] Terminal initialization failed; falling back to unsupported

java.lang.IncompatibleClassChangeError: Found class jline.Terminal, but interface was expected

hadoop的版本是2.6.0，hive的版本是1.2.1，$HIVE_HOME/lib目录下的jline-2.12.jar比$HADOOP_HOME/share/hadoop/yarn/lib下的jline-0.9.94.jar版本高，版本不一致导致。

解决方法：拷贝hive中的jline-2.12.jar到$HADOOP_HOME/share/hadoop/yarn/lib下，删除jline-0.9.94.jar，并重启hadoop即可。