Hive是hadoop生态系统中必不可少的工具,它提供了一种SQL(结构化查询语言)方言,可以查询存储在hadoop分布式文件系统中(HDFS)的数据或其他和hadoop集成的文件系统,如:MapR—Fs、Amazon的S3和像HBase(hadoop数据库)和Cassandra这样的数据库中的数据。
Hive简介
•Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。
•本质是将SQL转换为MapReduce程序,然后在Yarn上执行。
•Hive的表其实就是HDFS的目录/文件夹。Hive表里的数据相当于文件夹的文件。
为什么要使用Hive???
•操作接口采用类SQL语法,提供快速开发的能力
•避免了去写MapReduce,减少开发人员的学习成本
•扩展功能很方便
Hive与Hadoop的关系
Hive与传统数据库对比
| Hive | RDBMS |
查询语言 | HQL | SQL |
数据存储 | HDFS | Raw Device or Local FS |
执行 | MapReduce | Excutor |
执行延迟 | 高 | 低 |
处理数据规模 | 大 | 小 |
索引 | 0.8版本后加入位图索引 | 有复杂的索引 |
Hive的系统架构
•用户接口,包括 CLI(Shell命令行接口:常用),JDBC/ODBC(跨语言),WebUI(通过浏览器访问 Hive)。
•Thrift服务:thrift是facebook开发的一个软件框架,它用来进行可扩展且跨语言的服务的开发,hive集成了该服务,能让不同的编程语言调用hive的接口。
•Hive 将元数据存储在数据库中(metastore),目前只支持 mysql、derby。Hive 中的元数据包括表的名字,表的列和分区及其属性,表的属性(是否为外部表等),表的数据所在目录等。
•解释器、编译器、优化器、执行器。它的作用是将我们写的HiveQL(类SQL)语句进行解析、编译优化,生成执行计划,然后调用底层的mapreduce计算框架。
注意:Hive 的数据存储在 HDFS 中,大部分的查询由 MapReduce 完成(包含 * 的查询,比如 select * from table 不会生成 MapRedcue 任务)
•Hadoop:用 HDFS 进行存储,利用 MapReduce 进行计算。
Hive和mysql的安装
Mysql的安装方式
1、yum的安装
2、rpm的方式安装
3、解压缩包的方式安装
4、源码编译的方式安装
这里我们采用rpm的方式安装:安装在weekend08节点上。
MySQL-client-5.1.73-1.glibc23.x86_64.rpm
MySQL-server-5.1.73-1.glibc23.x86_64.rpm
step1、安装server
执行命令: rpm -ivh MySQL-server-5.1.73-1.glibc23.x86_64.rpm
出现冲突的报错!!!
解决方法
首先查询出mysql安装包 rpm -qa | grep mysql
删除冲突的安装包
rpm -e mysql-libs-5.1.71-1.el6.x86_64 --nodeps
再次执行安装的命令: rpm -ivh MySQL-server-5.1.73-1.glibc23.x86_64.rpm
step2、安装 Clinet
执行命令: rpm -ivh MySQL-client-5.1.73-1.glibc23.x86_64.rpm
step3、初始化root的密码
执行命令: /usr/bin/mysql_secure_installation 这里的密码为hadoop
step4、设置开机启动
chkconfig mysql on
step5、登录mysql
执行命令: mysql -uroot -phadoop
step6、设置登录权限
mysql> use mysql;
mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'hadoop' WITH GRANT OPTION;
删除多余会对权限造成影响的数据:mysql> delete from user where host !='%';
这个时候再去执行mysql命令无法进行登录mysql
step7、刷新权限
执行命令: mysql> flush privileges;
step8、登录mysql
执行命令: mysql -uroot -phadoop
安装Hive
首先把之前搭建的集群启动起来。保证ActiveNodes 的三个节点是存活。
Hive三种方式区别和搭建
本地模式
在weekend08节点上安装hive
1、解压apache-hive-1.2.1-bin.tar到 /usr/local目录下
2、配置Hive的环境变量
执行命令 vi /etc/profile
export JAVA_HOME=/usr/local/jdk1.8.0
export HADOOP_HOME=/usr/local/hadoop-2.6.5
export HIVE_HOME=/usr/local/hive
PATH=.:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$HIVE_HOME/bin:$PATH
执行命令使其生效 source /etc/profile
3、切换到conf目录下重命名hive-default.xml.template为 hive-site.xml
4、进入hive的客户端
--启动hdfs集群
-- 切换到bin目录下执行 hive命令。
错误信息:原因就是hive下面的这个jline-2.12.jar 版本和yarn的版本不一致导致的。
解决方法:切换到hadoop的那个jar包目录 /usr/local/hadoop-2.6.5/share/hadoop/yarn/lib
删除此目录下的jline-0.9.94.jar 然后将hive的那个高版本的jline-2.12.jar 复制到yarn目录下。
scp -r /usr/local/hive/lib/jline-2.12.jar /usr/local/hadoop-2.6.5/share/hadoop/yarn/lib
5、再次切换到bin目录下执行 hive命令。
注意:使用默认的derby数据库存元数据信息的情况。
Hive将元数据信息存储在执行hive命令时的那个文件夹下;
也就是说当你在hive的目录下执行 bin/hive命令那么就是在hive的目录下创建一个netastore_db文件夹来存储元数据信息;当你在bin的目录下执行 hive命令那么就是在bin的目录下创建一个netastore_db文件夹来存储元数据信息;
Hive默认使用的数据库为derby;derby的缺点只是适合单链接,不适合多连接;为了适合多连接需要不停过的切换执行hive命令的目录;一旦不停的切换目录执行hive脚本,就不能共享的使用这些表中的数据。
实际开发中我们使用mysql来存储元数据信息。
单用户模式
在weekend09节点上安装hive
1、解压apache-hive-1.2.1-bin.tar到 /usr/local目录下
2、配置Hive的环境变量
执行命令 vi /etc/profile
export JAVA_HOME=/usr/local/jdk1.8.0
export HADOOP_HOME=/usr/local/hadoop-2.6.5
export HIVE_HOME=/usr/local/hive
PATH=.:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$HIVE_HOME/bin:$PATH
执行命令使其生效 source /etc/profile
3、切换到conf目录下重命名hive-default.xml.template为 hive-site.xml
并添加如下内容
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive_remote/warehouse</value> //hdfs的一个目录 也就是hive查从hdfs查询数据的文件目录
</property>
<property>
<name>hive.metastore.local</name> //
<value>true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://weekend08/hive_remote?createDatabaseIfNotExist=true</value> //mysql在weekend08节点上
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value> #mysql的用户名和密码
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>hadoop</value>
</property>
</configuration>
4、进入hive的客户端
--启动hdfs集群
--将mysql的jar包(mysql-connector-java-5.1.32-bin.jar)拷贝到$HIVE_HOME/lib目录下
-- 切换到bin目录下执行 hive命令。
报错信息
解决方法:切换到hadoop的那个jar包目录 /usr/local/hadoop-2.6.5/share/hadoop/yarn/lib
删除此目录下的jline-0.9.94.jar 然后将hive的那个高版本的jline-2.12.jar 复制到yarn目录下。
scp -r /usr/local/hive/lib/jline-2.12.jar /usr/local/hadoop-2.6.5/share/hadoop/yarn/lib
5、再次切换到bin目录下执行 hive命令。
create table tbl(iid int ,age int);
insert into tbl values (1,2);
select * from tbl;
查看HDFS以及Yarn的图形化界面
多用户模式
1.Remote一体
这种存储方式需要在远端服务器运行一个mysql服务器,并且需要在Hive服务器启动meta服务。
这里用mysql的测试服务器,ip位192.168.222.108建hive_remote数据库,字符集位latine1
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value> //hdfs的一个目录 也就是hive查从hdfs查询数据的文件目录
</property>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://192.168.222.108:3306/hive?createDatabaseIfNotExist=true</value> //mysql在weekend08节点上
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>hadoop</value>
</property>
<property>
<name>hive.metastore.local</name>
<value>false</value>
</property>
<property>
<name>hive.metastore.uris</name>
<value>thrift://192.168.1.188:9083</value>
</property>
<property>
<name>hive.server2.thrift.port</name>
<value>10000</value>
</property>
</configuration>
注:这里把hive的服务端和客户端都放在同一台服务器上了。服务端和客户端可以拆开,
2.Remote分开
1)将Hive的压缩包解压到weekend11、weekend12 配置环境变量
2)将mysql的驱动jar包添加weekend11(服务器端)节点hive的lib目录下
3)将服务器端的配置文件添加到weekend11节点下的conf目录下。
4)启动hive服务端程序:执行命令 hive --service metastore
这个时候服务一直在后台运行着。
再开一个客户端查看服务是否启动
5)将客户端的配置文件添加到weekend12节点下的conf目录下。
启动客户端前解决启动错误信息问题。
解决方法:切换到hadoop的那个jar包目录 /usr/local/hadoop-2.6.5/share/hadoop/yarn/lib
删除此目录下的jline-0.9.94.jar 然后将hive的那个高版本的jline-2.12.jar 复制到yarn目录下。
scp -r /usr/local/hive/lib/jline-2.12.jar /usr/local/hadoop-2.6.5/share/hadoop/yarn/lib
6)客户端直接使用hive命令即可
将hive-site.xml配置文件拆为如下两部分
1)、服务端配置文件
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value> //存储hive表的HDFS目录
</property>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://weekend08:3306/hive?createDatabaseIfNotExist=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>hadoop</value>
</property>
</configuration>
2)、客户端配置文件
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value> //存储hive表的HDFS目录 与服务器端相同
</property>
<property>
<name>hive.metastore.local</name>
<value>false</value>
</property>
<property>
<name>hive.metastore.uris</name>
<value>thrift://weekend11:9083</value> //服务端的地址
</property>
<property>
<name>hive.server2.thrift.port</name>
<value>10000</value>
</property>
</configuration>
启动hive服务端程序
hive --service metastore &
hive --service hiveserver2 &
客户端直接使用hive命令即可
root@my188:~$ hive
Hive history file=/tmp/root/hive_job_log_root_201301301416_955801255.txt
hive> show tables;
OK
test_hive
Time taken: 0.736 seconds
hive>
客户端启动的时候要注意:
[ERROR] Terminal initialization failed; falling back to unsupported
java.lang.IncompatibleClassChangeError: Found class jline.Terminal, but interface was expected
at jline.TerminalFactory.create(TerminalFactory.java:101)
错误的原因: Hadoop jline版本和hive的jline不一致
可以将hive的启动命令写到脚本中
[hadoop@netcloud02 bin]$ cat start.sh
#!/usr/bin/env bash
hive --service metastore >> /opt/hive/tmp.log 2>&1 &
hive --service hiveserver2 >> /opt/hive/tmp.log 2>&1 &
启动 hive --service hiveserver2 这个服务就可以使用hive命令进入 hive操作状态。
再启动 hive --service metastore 这个服务后 就可以使用 dbvisualizer这样的第三发工具连接hive了或者
使用如下命令连接hive服务。
beeline
!connect jdbc:hive2://netcloud02:10000