| 实验 目的 要求 |
目的： （1）掌握数据仓库工具Hive的安装和配置； 要求：
|
|
实 验 环 境
|
软件版本： 选用Hive的2.1.1版本，软件包名apache-hive-2.1.1-bin.tar.gz；
依赖软件： *Hive工具使用JDBC方式连接MySQL数据库，需要用到MySQL数据库连接工具软件，选用该软件的5.1.42版本，软件包名mysql-connector-java-5.1.42-bin.jar； |
实验内容
步骤一：Hive工具安装配置
★ Hive安装过程的所有操作步骤都需要使用admin用户进行。
★本项步骤只在集群中Cluster-01主机上进行操作即可。
1、把相关软件包apache-hive-2.1.1-bin.tar.gz和mysql-connector-java-5.1.42-bin.jar上传到admin用户家目录的新建“setups”目录下；
2、创建用于存放Hive相关文件的目录，并进入该目录，创建Hive的本地临时文件目录“tmp”，并将软件包解压解包到“hive”目录下；
命令：
$mkdir ~/hive
$cd ~/hive
$mkdir tmp
$tar -xzf ~/setups/apache-hive-2.1.1-bin.tar.gz
3、配置Hive相关的环境变量，给配置文件进行修改，并在文件末尾添加以下内容；
命令：
$vi ~/.bash_profile
写入内容：
#hive environment
HIVE_HOME=/home/admin/hive/apache-hive-2.1.1-bin
PATH=$HIVE_HOME/bin:$PATH
export HIVE_HOME PATH
4、生效环境变量，并查看验证；
命令：
$source ~/.bash_profile
$echo $HIVE_HOME
$echo $PATH
5、进入Hive的配置文件目录，Hive的配置文件默认都被命名为了模板文件，需要对其进行拷贝重命名之后才能使用:
命令：
$ cp hive-env.sh.template hive-env.sh
$ cp hive-log4j2.properties.template hive-log4j2.properties
$ cp hive-exec-log4j2.properties.template hive-exec-log4j2.properties
$ cp hive-default.xml.template hive-site.xml
6、对配置文件进行修改，找到相关配置项并对其值进行修改；
6.1、找到配置项“HADOOP_HOME”，该项用于指定Hadoop所在的路径，将其值改为以下内容：
HADOOP_HOME=/home/admin/hadoop/hadoop-2.7.3
6.2、找到配置项“HIVE_CONF_DIR”，该项用于指定Hive的配置文件所在的路径，将其值改为以下内容：
export
HIVE_CONF_DIR=/home/admin/hive/apache-hive-2.1.1-bin/conf
6.3、找到配置项“HIVE_AUX_JARS_PATH”，该项用于指定Hive的lib文件所在的路径，将其值改为以下内容：
export HIVE_AUX_JARS_PATH=/home/admin/hive/apache-hive-2.1.1-bin/lib
7、集群的启动；
★ 该项的所有操作步骤使用专门用于集群的用户admin进行。
★ 启动HBase集群之前首先确保Zookeeper集群已被开启状态。（实验5台），Zookeeper的启动需要分别在每个计算机的节点上手动启动。如果家目录下执行启动报错，则需要进入zookeeper/bin目录执行启动命令。
★ 启动HBase集群之前首先确保Hadoop集群已被开启状态。 （实验5台）Hadoop只需要在主节点执行启动命令。
a) 在集群中所有主机上使用命令“zkServer.sh status”查看该节点Zookeeper服务当前的状态，若集群中只有一个“leader”节点，其余的均为“follower”节点，则集群的工作状态正常。如果Zookeeper未启动，则在集群中所有主机上使用命令“zkServer.sh start”启动Zookeeper服务的脚本;
b) 在主节点，查看Java进程信息，若有名为“NameNode”、“ResourceManager”的两个进程，则表示Hadoop集群的主节点启动成功。在每台数据节点，若有名为“DataNode”和“NodeManager”的两个进程，则表示Hadoop集群的数据节点启动成功, 如果不存在以上三个进程，则在主节点使用此命令,启动Hadoop集群。
主节点及备用主节点：
通信节点：
c) 确定Hadoop集群已启动状态，然后在主节点使用此命令,启动HBase集群, 在集群中所有主机上使用命令“jps”;
8、在HDFS中分别创建Hive的临时文件目录“tmp”，在HDFS中分别创建Hive的数据存储目录“warehouse”，在HDFS中分别创建Hive的日志文件目录“log”，添加三个目录的用户组写权限；
命令：
$ hadoop fs -mkdir -p /user/hive/tmp
$ hadoop fs -mkdir -p /user/hive/warehouse
$ hadoop fs -mkdir -p /user/hive/log
$ hadoop fs -chmod 777 /user/hive/tmp
$ hadoop fs -chmod 777 /user/hive/warehouse
$ hadoop fs -chmod 777 /user/hive/log
9、对配置文件hive-site.xml进行修改
找到下列标签“<name>”所标识的属性项名称所在位置，修改其标签“<value>”所标识的属性值部分的内容：
<configuration>
<!-- 指定Hive的数据临时文件存储目录，需要是位于HDFS上的目录 -->
<property>
<name>hive.exec.scratchdir</name>
<value>/user/hive/tmp</value>
</property>
<!-- 指定Hive的数据存储目录，需要是位于HDFS上的目录 -->
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>
</property>
<!-- 指定Hive的日志文件目录，需要是位于HDFS上的目录--><property>
<name>hive.querylog.location</name>
<value>/user/hive/log</value>
<description>Location of Hive run time structured log file</description>
</property>
</configuration>
10、在MySQL数据库SQL服务节点Cluster-04中创建一个数据库“hive”用于存放Hive的元数据，该数据库的用户名和密码均为“hive”，数据库名、用户名、密码均可以自行设定，但需要与Hive配置文件中的内容相对应，连接MySQL数据库；
命令：
$ mysql -hCluster-04 -uroot -pmysqlabc
在控制台执行以下命令进行数据库的创建：
CREATE DATABASE hive;（创建数据库hive）
USE hive;（切换到新创建的hive数据库）
CREATE USER 'hive'@'%' IDENTIFIED BY 'hive';（创建数据库用户hive）
GRANT ALL ON hive.* TO 'hive'@'%';（设置hive数据库的访问权限，hive用户拥有所有操作权限并支持远程访问）
FLUSH PRIVILEGES;（刷新数据库权限信息）
show databases;
quit;（退出MySQL数据库控制台）
11、添加MySQL连接的相关配置信息；
命令：
$ vi ~/hive/apache-hive-2.1.1-bin/conf/hive-site.xml
找到下列标签“<name>”所标识的属性项名称所在位置，修改其标签“<value>”所标识的属性值部分的内容：
<configuration>
<!-- 指定Hive的日志文件目录，需要是位于HDFS上的目录 -->
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://Cluster-04:3306/hive?createDatabaseIfNotExist=true&characterEncoding=UTF-8&useSSL=false</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>hive</value>
</property>
</configuration>
12、将MySQL的数据库连接工具包添加到Hive的“lib”目录下；
命令：
$ cp -v ~/setups/mysql-connector-java-5.1.42-bin.jar ~/hive/apache-hive-2.1.1-bin/lib
13、添加MySQL连接的相关配置信息；
命令：
$ vi ~/hive/apache-hive-2.1.1-bin/conf/hive-site.xml
在编辑器中使用快捷键“:”进入到编辑器的命令模式，也称为末行模式，然后使用命令“%s#${system:java.io.tmpdir}#/home/admin/hive/tmp#g”以及“%s#${system:user.name}#${user.name}#g”替换掉配置文件中的原有配置内容。
14、对Hive进行格式化；
命令：
$ schematool -initSchema -dbType mysql
步骤二：Hive工具启动和验证
★ Hive安装过程的所有操作步骤都需要使用admin用户进行。
★本项步骤只在集群中Cluster-01主机上进行操作即可。
1、使用命令“hive”启动Hive，启动成功后能够进入Hive的控制台。
2、在控制台中使用命令“show databases;”查看当前的数据库列表。
3、在控制台中使用命令“show functions;”查看Hive的功能函数。
4、在控制台中使用命令“desc function sum;”或“desc function extended sum;”查看Hive的功能函数的详细信息。
5、在控制台中使用命令“quit;”或“exit;”退出Hive的控制台。
出现的问题与解决方案
错误1、启动hive ： ls: cannot access/home/hadoop/spark-2.2.0-bin-hadoop2.6/lib/spark-assembly-*.jar: No such fileor directory问题
sxc@master ~]$ hivels: cannot access /software/spark/spark-2.2.0-bin-hadoop2.7/lib/spark-assembly-*.jar: No such file or directory17/11/27 13:12:56 WARN conf.HiveConf: HiveConf of name hive.metastore.local does not existLogging initialized using configuration in jar:file:/software/hive/apache-hive-1.2.1-bin/lib/hive-common-1.2.1.jar!/hive-log4j.properties
原因：spark升级到spark2以后，原有lib目录下的大JAR包被分散成多个小JAR包，原来的spark-assembly-*.jar已经不存在，所以hive没有办法找到这个JAR包。
解决方法：
打开hive的安装目录下的bin目录，找到hive文件
找到如下的位置
# add Spark assembly jar to the classpath
if [[ -n "$SPARK_HOME" ]]
then
sparkAssemblyPath=`ls ${SPARK_HOME}/lib/spark-assembly-*.jar`
CLASSPATH="${CLASSPATH}:${sparkAssemblyPath}"
fi原因：
spark升级到spark2以后，原有lib目录下的大JAR包被分散成多个小JAR包，原来的spark-assembly-*.jar已经不存在，所以hive没有办法找到这个JAR包。
解决办法：把红色部分改为如下的样子就可以了
# add Spark assembly jar to the classpath
if [[ -n "$SPARK_HOME" ]]
then
sparkAssemblyPath=`ls ${SPARK_HOME}/jars/*.jar`
CLASSPATH="${CLASSPATH}:${sparkAssemblyPath}"
fi
知识点总结
HIVE和HBASE区别
1. 两者分别是什么？
Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询--因为它只能够在Haoop上批量的执行Hadoop。
Apache HBase是一种Key/Value系统，它运行在HDFS之上。和Hive不一样，Hbase的能够在它的数据库上实时运行，而不是运行MapReduce任务。Hive被分区为表格，表格又被进一步分割为列簇。列簇必须使用schema定义，列簇将某一类型列集合起来（列不要求schema定义）。例如，“message”列簇可能包含：“to”, ”from” “date”, “subject”, 和”body”. 每一个 key/value对在Hbase中被定义为一个cell，每一个key由row-key，列簇、列和时间戳。在Hbase中，行是key/value映射的集合，这个映射通过row-key来唯一标识。Hbase利用Hadoop的基础设施，可以利用通用的设备进行水平的扩展。
2. 两者的特点：
Hive帮助熟悉SQL的人运行MapReduce任务。因为它是JDBC兼容的，同时，它也能够和现存的SQL工具整合在一起。运行Hive查询会花费很长时间，因为它会默认遍历表中所有的数据。虽然有这样的缺点，一次遍历的数据量可以通过Hive的分区机制来控制。分区允许在数据集上运行过滤查询，这些数据集存储在不同的文件夹内，查询的时候只遍历指定文件夹（分区）中的数据。这种机制可以用来，例如，只处理在某一个时间范围内的文件，只要这些文件名中包括了时间格式。
HBase通过存储key/value来工作。它支持四种主要的操作：增加或者更新行，查看一个范围内的cell，获取指定的行，删除指定的行、列或者是列的版本。版本信息用来获取历史数据（每一行的历史数据可以被删除，然后通过Hbase compactions就可以释放出空间）。虽然HBase包括表格，但是schema仅仅被表格和列簇所要求，列不需要schema。Hbase的表格包括增加/计数功能。
3. 限制
Hive目前不支持更新操作。另外，由于hive在hadoop上运行批量操作，它需要花费很长的时间，通常是几分钟到几个小时才可以获取到查询的结果。Hive必须提供预先定义好的schema将文件和目录映射到列，并且Hive与ACID不兼容。
HBase查询是通过特定的语言来编写的，这种语言需要重新学习。类SQL的功能可以通过Apache Phonenix实现，但这是以必须提供schema为代价的。另外，Hbase也并不是兼容所有的ACID特性，虽然它支持某些特性。最后但不是最重要的--为了运行Hbase，Zookeeper是必须的，zookeeper是一个用来进行分布式协调的服务，这些服务包括配置服务，维护元信息和命名空间服务。
4. 应用场景
Hive适合用来对一段时间内的数据进行分析查询，例如，用来计算趋势或者网站的日志。Hive不应该用来进行实时的查询。因为它需要很长时间才可以返回结果。
Hbase非常适合用来进行大数据的实时查询。Facebook用Hbase进行消息和实时的分析。它也可以用来统计Facebook的连接数。
5. 总结
Hive和Hbase是两种基于Hadoop的不同技术--Hive是一种类SQL的引擎，并且运行MapReduce任务，Hbase是一种在Hadoop之上的NoSQL 的Key/vale数据库。当然，这两种工具是可以同时使用的。就像用Google来搜索，用FaceBook进行社交一样，Hive可以用来进行统计查询，HBase可以用来进行实时查询，数据也可以从Hive写到Hbase，设置再从Hbase写回Hive。
Hive环境安装之浏览器访问配置
1、下载hive-2.1.1-src.tar.gz
然后进入目录${HIVE_SRC_HOME}/hwi/web，执行打包命令:
#jar -cvf hive-hwi-1.2.2.war *
2、得到hive-hwi-1.2.2.war文件，复制到hive下的lib目录中；
3、修改hive的配置文件hive-site.xml；
4、启动Hive的web；
命令：$hive –service hwi
5、通过web方式管理Hive；
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
