1 Hive 基本概念
1.1 什么是 Hive
-
hive 简介
hive:由 Facebook 开源用于解决海量 结构化日志的数据统计工具。
hive 是 基于 Hadoop 的一个数据仓库工具,可以 将结构化的数据文件映射为一张表,提供类 SQL 查询功能。 -
Hive 本质:将 HQL 转化成 MapReduce 程序
(1)Hive 处理的数据存储在 HDFS
(2)Hive 分析数据底层的实现是 MapReduce
(3)执行程序运行在 Yarn 上
1.2 Hive 的优缺点
1.2.1 优点
(1)操作接口采用类 SQL 语法,提供快速开发的能力(简单、容易上手)。
(2)避免了去写 MapReduce,减少开发人员的学习成本。
(3)Hive 的执行延迟比较高 ,因此 Hive 常用于数据分析,对实时性要求不高的场合。
(4)Hive 优势在于处理大数据,对于处理小数据没有优势,因为 Hive 的执行延迟比较高。
(5)Hive 支持用户自定义函数,用户可以根据自己的需求来实现自己的函数。
(6)Hive统一了元数据管理,可与impala/spark等共享元数据
1.2.2 缺点
1)Hive 的 HQL 表达能力有限
(1)迭代式算法无法表达
(2)数据挖掘方面不擅长,由于 MapReduce 数据处理流程的限制,效率更高的算法却无法实现。
2)Hive 的效率比较低
(1)Hive 自动生成的 MapReduce 作业,通常情况下不够智能化
(2)Hive 调优比较困难,粒度较粗
1.3 Hive 架构原理
1)用户接口:Client
CLI(command-line interface)、JDBC/ODBC(jdbc 访问 hive)、WEBUI(浏览器访问 hive)
2)元数据:Metastore
元数据包括:表名、表所属的数据库(默认是 default)、表的拥有者、列/分区字段、表的类型(是否是外部表)、表的数据所在目录等;
默认存储在自带的 derby 数据库中,推荐使用 MySQL 存储 Metastore。
3)Hadoop
使用 HDFS 进行存储,使用 MapReduce 进行计算,执行程序在yarn上 。
4)驱动器:Driver
(1)解析器(SQL Parser):将 SQL 字符串转换成抽象语法树 AST,这一步一般都用第三方工具库完成,比如 antlr;对 AST 进行语法分析,比如表是否存在、字段是否存在、SQL语义是否有误。
(2)编译器(Physical Plan):将 AST 编译生成逻辑执行计划。
(3)优化器(Query Optimizer):对逻辑执行计划进行优化。
(4)执行器(Execution):把逻辑执行计划转换成可以运行的物理计划。对于 Hive 来说,就是 MR/Spark 。
Hive 通过给用户提供的一系列交互接口,接收到用户的指令(SQL),使用自己的 Driver,结合元数据(MetaStore),将这些指令翻译成 MapReduce,提交到 Hadoop 中执行,最后,将执行返回的结果输出到用户交互接口。
1.4 Hive 和数据库比较
由于 Hive 采用了类似 SQL 的查询语言 HQL(Hive Query Language),因此很容易将 Hive 理解为数据库。其实从结构上来看,Hive 和数据库除了拥有类似的查询语言,再无类似之处。本节将从多个方面来阐述 Hive 和数据库的差异。数据库可以用在 Online 的应用中,但是Hive 是为数据仓库而设计的,清楚这一点,有助于从应用角度理解 Hive 的特性。
- 查询语言
由于 SQL 被广泛的应用在数据仓库中,因此,专门针对 Hive 的特性设计了类 SQL 的查询语言 HQL。熟悉 SQL 开发的开发者可以很方便的使用 Hive 进行开发。 - 数据更新
由于 Hive 是针对数据仓库应用设计的,而数据仓库的内容是读多写少的。因此,Hive 中 不建议对数据的改写,所有的数据都是在加载的时候确定好的。而数据库中的数据通常是需要经常进行修改的,因此可以使用 INSERT INTO … VALUES 添加数据,使用 UPDATE … SET 修改数据。。 - 执行延迟
Hive 在查询数据的时候,由于没有索引,需要扫描整个表,因此延迟较高。另外一个导致 Hive 执行延迟高的因素是 MapReduce 框架。由于 MapReduce 本身具有较高的延迟,因此在利用 MapReduce 执行 Hive 查询时,也会有较高的延迟。相对的,数据库的执行延迟较低。当然,这个低是有条件的,即数据规模较小,当数据规模大到超过数据库的处理能力的时候,Hive 的并行计算显然能体现出优势。 - 数据规模
由于 Hive 建立在集群上并可以利用 MapReduce 进行并行计算,因此可以支持很大规模的数据;对应的,数据库可以支持的数据规模较小。
2 Hive 安装
2.1 Hive 安装地址
2.2 Hive 安装部署
2.2.1 安装 Hive
-
把 apache-hive-3.1.2-bin.tar.gz 上传到 linux 的/opt/software/hive 目录下
-
解压 apache-hive-3.1.2-bin.tar.gz 到/opt/module/hive目录下面
tar -zxvf /opt/software/hive/apache-hive-3.1.2-bin.tar.gz -C /opt/module/
-
修改 apache-hive-3.1.2-bin.tar.gz 的名称为 hive
mv /opt/module/apache-hive-3.1.2-bin/ /opt/module/hive
-
修改hive的拥有权
chown -R zjw:zjw /opt/module/hive/
-
修改/etc/profile.d/my_env.sh,添加环境变量
vim /etc/profile.d/my_env.sh
-
添加内容
#HIVE_HOME export HIVE_HOME=/opt/module/hive export PATH=$PATH:$HIVE_HOME/bin
-
解决日志 Jar 包冲突
mv $HIVE_HOME/lib/log4j-slf4j-impl-2.10.0.jar $HIVE_HOME/lib/log4j-slf4j-impl-2.10.0.bak
-
初始化元数据库
bin/schematool -dbType derby -initSchema
2.2.2 启动并使用 Hive
-
启动 Hive:
bin/hive
-
使用Hive
hive> show databases; hive> show tables; hive> create table test(id int); //插入数据需要花费一点时间,要耐心等待 hive> insert into test values(1); hive> select * from test;
容易遇到的错误:
- 如果在插入数据时候出现在这样的异常:
错误原因:namenode内存空间不够,JVM剩余内存空间不够新job运行所致。
可使用:set hive.exec.mode.local.auto=true;
来选择本地模式
- show databases;
报错FAILED: HiveException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient,网上找的解决方案:
hive自带的内存数据库derby,应该先初始化,进入hive目录,里面有一个metestore文件夹(是之前启动hive的derby时自动生成的,这里需要将metastore_db 目录重命名为 metastore_db.tmp,然后再初始化)。
解决步骤(在hive目录下):
1.> mv metastore_db metastore_db.tmp
2.> bin/schematool -initSchema -dbType derby
- 如果在插入数据时候出现在这样的异常:
-
查看hive生成的log文件
2.4 Hive 元数据配置到 MySQL
为什么要将元数据放在mysql中?
因为hive默认的内存数据库derby只能供一个人使用,在另外一个节点上同时开启就会报错,而现在我们整个集群都要使用hive元数据,所以改用mysql。
如果不会下载Mysql的可以参考我的这篇文章:如何搭建一个简单的Liunx开发环境
2.4.1 拷贝驱动
将 MySQL 的 JDBC 驱动拷贝到 Hive 的 lib 目录下
cp /opt/software/mysql-connector-java-5.1.37.jar $HIVE_HOME/lib
2.4.2 配置 Metastore 到 MySQL
-
在$HIVE_HOME/conf 目录下新建 hive-site.xml 文件
vim $HIVE_HOME/conf/hive-site.xml
添加如下内容
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <!-- 配置mysql四要素:数据库地址、驱动名称、用户名、密码 --> <!-- jdbc 连接的 URL --> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://hadoop104:3306/metastore?useSSL=false</value> </property> <!-- jdbc 连接的 Driver--> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property> <!-- jdbc 连接的 username--> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> </property> <!-- jdbc 连接的 password --> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>12345678</value> </property> <!-- Hive 元数据存储版本的验证 --> <property> <name>hive.metastore.schema.verification</name> <value>false</value> </property> <!--元数据存储授权--> <property> <name>hive.metastore.event.db.notification.api.auth</name> <value>false</value> </property> <!-- Hive 默认在 HDFS 的工作目录 --> <property> <name>hive.metastore.warehouse.dir</name> <value>/user/hive/warehouse</value> </property> </configuration>
- 登陆 MySQL
mysql -uroot -p12345678
-
新建 Hive 元数据库
create database metastore; quit;
-
初始化 Hive 元数据库
schematool -initSchema -dbType mysql -verbose
如果出现已存在的异常,把hive目录下的metastore_db重命名metastore_db.temp
2.4.3 再次启动 Hive
-
启动 Hive:
bin/hive
-
查看mysql会发现多了metastore数据库(存储元数据)
“metasore”是hive-site.xml中配置的名字 -
使用 Hive
hive> show databases; hive> show tables; hive> create table test (id int); hive> insert into test values(1); hive> select * from test;
2.5 使用元数据服务的方式访问 Hive
-
在 hive-site.xml 文件中添加如下配置信息
<!-- 指定存储元数据要连接的地址 --> <property> <name>hive.metastore.uris</name> <value>thrift://hadoop104:9083</value> </property>
-
启动 metastore
hive --service metastore
注意: 启动后窗口不能再操作,需打开一个新的 shell 窗口做别的操作,而且如果已经开启了元数据服务就必须要
开启hive --service metastore,不然之后进入hive后普通的操作也会报错。 -
启动 hive:
bin/hive
2.6 使用 JDBC 方式访问 Hive
-
在 hive-site.xml 文件中添加如下配置信息
<!-- 指定 hiveserver2 连接的 host --> <property> <name>hive.server2.thrift.bind.host</name> <value>hadoop104</value> </property> <!-- 指定 hiveserver2 连接的端口号 --> <property> <name>hive.server2.thrift.port</name> <value>10000</value> </property>
-
启动 hiveserver2:
bin/hive --service hiveserver2
-
启动 beeline 客户端(需要多等待一会 )
bin/beeline -u jdbc:hive2://hadoop104:10000 -n zjw
-
看到如下界面
我在使用JDBC连接时出现的两个错误- 没有开启元数据服务
2.root以外的用户连接出现错误
Error: Could not open client transport with JDBC Uri: jdbc:hive2://hadoop102:10000: Failed to open new session: java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.authorize.AuthorizationException): User: zjw is not allowed to impersonate ding (state=08S01,code=0)
我解决的办法是首先关闭hadoop集群,然后在hadoop配置文件core-site.xml中加入
<property> <name>hadoop.proxyuser.zjw.hosts</name> <value>*</value> </property> <property> <name>hadoop.proxyuser.zjw.groups</name> <value>*</value> </property>
你们需要讲zjw改成你们自己的用户名
或者你可以参考这篇文章:https://blog.csdn.net/u011495642/article/details/84305944 - 没有开启元数据服务
-
编写 hive 服务启动脚本(了解)
(1)前台启动的方式导致需要打开多个 shell 窗口,可以使用如下方式后台方式启动nohup hive --service metastore 2>&1 & nohup hive --service hiveserver2 2>&1 &
nohup: 放在命令开头,表示不挂起,也就是关闭终端进程也继续保持运行状态
/dev/null:是 Linux 文件系统中的一个文件,被称为黑洞,所有写入改文件的内容
都会被自动丢弃
2>&1 : 表示将错误重定向到标准输出上
&: 放在命令结尾,表示后台运行
一般会组合使用: nohup [xxx 命令操作]> file 2>&1 &,表示将 xxx 命令运行的结
果输出到 file 中,并保持命令启动的进程在后台运行。
如上命令不要求掌握。(2)为了方便使用,可以直接编写脚本来管理服务的启动和关闭
vim $HIVE_HOME/bin/hiveservices.sh
内容如下:此脚本的编写不要求掌握。直接拿来使用即可。
#!/bin/bash HIVE_LOG_DIR=$HIVE_HOME/logs if [ ! -d $HIVE_LOG_DIR ] then mkdir -p $HIVE_LOG_DIR fi #检查进程是否运行正常,参数1为进程名,参数2为进程端口 function check_process() { pid=$(ps -ef 2>/dev/null | grep -v grep | grep -i $1 | awk '{print $2}') ppid=$(netstat -nltp 2>/dev/null | grep $2 | awk '{print $7}' | cut -d '/' -f 1) echo $pid [[ "$pid" =~ "$ppid" ]] && [ "$ppid" ] && return 0 || return 1 } function hive_start() { metapid=$(check_process HiveMetastore 9083) cmd="nohup hive --service metastore >$HIVE_LOG_DIR/metastore.log 2>&1 &" [ -z "$metapid" ] && eval $cmd || echo "Metastroe服务已启动" server2pid=$(check_process HiveServer2 10000) cmd="nohup hiveserver2 >$HIVE_LOG_DIR/hiveServer2.log 2>&1 &" [ -z "$server2pid" ] && eval $cmd || echo "HiveServer2服务已启动" } function hive_stop() { metapid=$(check_process HiveMetastore 9083) [ "$metapid" ] && kill $metapid || echo "Metastore服务未启动" server2pid=$(check_process HiveServer2 10000) [ "$server2pid" ] && kill $server2pid || echo "HiveServer2服务未启动" } case $1 in "start") hive_start ;; "stop") hive_stop ;; "restart") hive_stop sleep 2 hive_start ;; "status") check_process HiveMetastore 9083 >/dev/null && echo "Metastore服务运行正常" || echo "Metastore服务运行异常" check_process HiveServer2 10000 >/dev/null && echo "HiveServer2服务运行正常" || echo "HiveServer2服务运行异常" ;; *) echo Invalid Args! echo 'Usage: '$(basename $0)' start|stop|restart|status' ;; esac
(3)添加执行权限:
chmod +x $HIVE_HOME/bin/hiveservices.sh
(4)启动 Hive 后台服务:hiveservices.sh start
2.7 Hive 常用交互命令
[zjw@hadoop104 hive]$ bin/hive -help
- “-e”不进入 hive 的交互窗口执行 sql 语句
bin/hive -e "select id from student;“
2.8 Hive 其他命令操作
-
退出 hive 窗口:
exit; quit;
-
在 hive cli 命令窗口中如何查看 hdfs 文件系统
dfs -ls /;
-
查看在 hive 中输入的所有历史命令
- 进入到当前用户的根目录 /root 或/home/zjw
- 查看. hivehistory 文件:
cat .hivehistory
2.9 Hive 常见属性配置
2.9.1 Hive 运行日志信息配置
-
Hive 的 log 默认存放在/tmp/zjw/hive.log 目录下(当前用户名下)
-
修改 hive 的 log 存放日志到/opt/module/hive/logs
(1)修改/opt/module/hive/conf/hive-log4j2.properties.template 文件名称为 hive-log4j2.propertiesmv hive-log4j2.properties.template hive-log4j2.properties
(2)在 hive-log4j2.properties 文件中修改 log 存放位置:
hive.log.dir=/opt/module/hive/logs
2.9.2 打印 当前库 和 表头
在 hive-site.xml 中加入如下两个配置:
<property>
<name>hive.cli.print.header</name>
<value>true</value>
</property>
<property>
<name>hive.cli.print.current.db</name>
<value>true</value>
</property>
2.9.3 参数配置方式
-
查看当前所有的配置信息:
set;
-
参数的配置三种方式
-
配置文件方式
默认配置文件:hive-default.xml
用户自定义配置文件:hive-site.xml
注意:用户自定义配置会覆盖默认配置 。另外,Hive 也会读入 Hadoop 的配置, 因为 Hive是作为 Hadoop 的客户端启动的,Hive 的配置会覆盖 Hadoop 的配置 。配置文件的设定对本机启动的所有 Hive 进程都有效。 -
命令行参数方式
启动 Hive 时,可以在命令行添加-hiveconf param=value 来设定参数。例如:bin/hive -hiveconf mapred.reduce.tasks=10;
注意:仅对本次 hive 启动有效
查看参数设置:set mapred.reduce.tasks;
-
-
参数声明方式
可以在 HQL 中使用 SET 关键字设定参数例如:set mapred.reduce.tasks=100;
注意:仅对本次 hive 启动有效
查看参数设置: set mapred.reduce.tasks;
上述三种设定方式的优先级依次递增。即配置文件<命令行参数<参数声明。注意某些系统级的参数,例如 log4j 相关的设定,必须用前两种方式设定,因为那些参数的读取在会话建立以前已经完成了。
3 Hive 数据类型
3.1 基本数据类型
对于 Hive 的 String 类型相当于数据库的 varchar 类型,该类型是一个可变的字符串,不过它不能声明其中最多能存储多少个字符,理论上它可以存储 2GB 的字符数。
3.2 集合数据类型
Hive 有三种复杂数据类型 ARRAY、MAP 和 STRUCT。ARRAY 和 MAP 与 Java 中的 Array和 Map 类似,而 STRUCT 与 C 语言中的 Struct 类似,它封装了一个命名字段集合,复杂数据类型允许任意层次的嵌套。
-
案例实操
(1)假设某表有如下一行,我们用 JSON 格式来表示其数据结构。在 Hive 下访问的格式为"name": "zjw", "friends": ["MJ" , "LXQ"] , //列表 Array, "children": { //键值 Map, "xiao zjw": 8 , "xiaoxiao zjw": 9 } "address": { //结构 Struct, "street": "w u t", "city": "hubei" } }
-
基于上述数据结构,我们在 Hive 里创建对应的表,并导入数据。
创建本地测试文件 test.txtzjw,MJ_LXQ,xiao zjw:8_xiaoxiao zjw:9,wut_hubei yangyang,caicai_susu,xiao yang:18_xiaoxiao yang:19,chao yang_beijing
-
Hive 上创建测试表 test
create table test( name string, friends array<string>, children map<string, int>, address struct<street:string, city:string> ) row format delimited fields terminated by ',' collection items terminated by '_' map keys terminated by ':' lines terminated by '\n';
字段解释:- row format delimited fields terminated by ‘,’ – 列分隔符
- collection items terminated by ‘_’ --MAP STRUCT 和 ARRAY 的分隔符(数据分割符号)
- map keys terminated by ‘:’ – MAP 中的 key 与 value 的分隔符
- lines terminated by ‘\n’; – 行分隔符
-
导入文本数据到测试表
load data local inpath '/opt/module/hive/datas/test.txt' into table test;
-
访问三种集合列里的数据,以下分别是 ARRAY,MAP,STRUCT 的访问方式
select friends[1],children['xiao zjw'],address.city from test where name="zjw";
3.3 类型转化
Hive 的原子数据类型是可以进行隐式转换的,类似于 Java 的类型转换,例如某表达式使用 INT 类型,TINYINT 会自动转换为 INT 类型,但是 Hive 不会进行反向转化,例如,某表达式使用 TINYINT 类型,INT 不会自动转换为 TINYINT 类型,它会返回错误,除非使用 CAST操作。
- 隐式类型转换规则如下
(1)任何整数类型都可以隐式地转换为一个范围更广的类型,如 TINYINT 可以转换成INT,INT 可以转换成 BIGINT。
(2)所有整数类型、FLOAT 和 STRING 类型(例如 “1”、“2”这种字符串) 都可以隐式地转换成 DOUBLE。
(3)TINYINT、SMALLINT、INT 都可以转换为 FLOAT。
(4)BOOLEAN 类型不可以转换为任何其它的类型。 - 可以使用 CAST 操作显示进行数据类型转换
例如 CAST(‘1’ AS INT)将把字符串’1’ 转换成整数 1;如果强制类型转换失败,如执行CAST(‘X’ AS INT),表达式返回空值 NULL。
Hive相关文章:
Hive学习笔记之一hive的介绍与安装
Hive学习笔记二之表操作
Hive学习笔记三之函数操作
Hive学习笔记四之Hive实战
Hadoop系列文章:
Hadoop学习笔记之初始Hadoop
Hadoop学习笔记之HDFS
Hadoop学习笔记之MapReduce(一)
Hadoop学习笔记之MapReduce(二)
Hadoop学习笔记之Yarn