大数据010——Hive

最新推荐文章于 2021-07-08 16:31:13 发布
最新推荐文章于 2021-07-08 16:31:13 发布
阅读量2.8k 收藏 50
点赞数 15
分类专栏： 大数据 Hive Hadoop 文章标签： Hive Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_34045444/article/details/86484962
版权
大数据 同时被 3 个专栏收录
23 篇文章 0 订阅
订阅专栏
Hadoop
10 篇文章 0 订阅
订阅专栏
Hive
2 篇文章 0 订阅
订阅专栏

1. Hive 概述

Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 HQL，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析工作。

1.1 Hive 架构

在这里插入图片描述

Hive 的结构可以分为以下几部分：

  • 用户接口：包括 CLI, Client, WUI；
  • 元数据存储。通常是存储在关系数据库如 mysql, derby 中；
  • 解释器、编译器、优化器、执行器；
  • Hadoop：用 HDFS 进行存储，利用 MapReduce 进行计算。
  1. 用户接口主要有三个：CLI，Client 和 WebGUI。其中最常用的是 CLI，Cli 启动的时候，会同时启动一个 Hive 副本。Client 是 Hive 的客户端，用户连接至 Hive Server。在启动 Client 模式的时候，需要指出 Hive Server 所在节点，并且在该节点启动 HiveServer。 WUI 是通过浏览器访问 Hive。
  2. Hive 将元数据存储在数据库中，如 mysql、derby。Hive 中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。
  3. 解释器、编译器、优化器完成 HQL 查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在 HDFS 中，并在随后有 MapReduce 调用执行。
  4. Hive 的数据存储在 HDFS 中，大部分的查询由 MapReduce 完成（包含 * 的查询，比如 select * from tbl 不会生成 MapRedcue 任务）。

1.2 Hive 和 Hadoop 关系

在这里插入图片描述

Hive 构建在 Hadoop 之上，

  • HQL 中对查询语句的解释、优化、生成查询计划是由 Hive 完成的；
  • 所有的数据都是存储在 Hadoop 中；
  • 查询计划被转化为 MapReduce 任务，在 Hadoop 中执行（有些查询没有 MR 任务，如：select * from table）；
  • Hadoop 和 Hive 都是用 UTF-8 编码的。

1.3 Hive 和普通关系数据库的异同

HiveRDBMS
查询语言HQLSQL
数据存储HDFSRaw Device or Local FS
索引无有
执行MapReduceExecutor
执行延迟高低
处理数据规模大小
数据处理联机分析处理OLAP联机事务处理OLTP
  1. 查询语言。专门针对 Hive 的特性设计了类 SQL 的查询语言 HQL；
  2. 数据存储位置。Hive 是建立在 Hadoop 之上的，所有 Hive 的数据都是存储在 HDFS 中的；
  3. 数据格式。用户定义数据格式需要指定三个属性：列分隔符（通常为空格、”\t”、”\x001″）、行分隔符（”\n”）以及读取文件数据的方法（Hive 中默认有三个文件格式 TextFile，SequenceFile 以及 RCFile），加载时无需从用户数据格式到Hive 定义的数据格式的转换，只是将数据复制到相应的HDFS目录下；
  4. 数据更新。Hive 是针对数据仓库应用设计的，所以不支持对数据的改写和添加；
  5. 索引。由于 MapReduce 的引入， Hive 可以并行访问数据，因此即使没有索引，对于大数据量的访问，Hive 仍然可以体现出优势；
  6. 执行。Hive 中大多数查询的执行是通过 Hadoop 提供的 MapReduce 来实现的（类似select * from tbl 的查询或查询单个字段不需要 MapReduce）；
  7. 执行延迟。由于没有索引，需要扫描整个表，因此延迟较高，另外一个导致 Hive 执行延迟高的因素是 MapReduce 框架；
  8. 可扩展性。由于 Hive 是建立在 Hadoop 之上的，因此 Hive 的可扩展性是和 Hadoop的可扩展性是一致的；
  9. 数据规模；
  10. 数据处理。数据仓库是用来做查询分析的OLAP数据库。

1.4 Hive 元数据库

Hive 将元数据存储在 RDBMS 中,一般常用的有 MYSQL 和 DERBY（内嵌式）。

2. Hive 的部署

2.1 Hive的安装与配置

  1. 安装Hive

    • 首先，Hive是依赖于hadoop系统的，因此在运行Hive之前需要保证已经搭建好hadoop集群环境。

    • 在一个节点上安装关系型数据mysql：

    rpm -qa | grep mysql 	#查看是否安装过mysql
yum –y remove ***mysql***	#若安装过，卸载
yum -y install mysql-server mysql-devel	#安装
service mysqld start	#启动mysql
mysqladmin -u root password 123456	#创建root管理员
mysql -u root -p 123456	#登录mysql
update mysql.user set Host='%' where user="root";	#开放其它主机连接权限
flush privileges; 		#更新权限
service mysqld restart		#重启mysql

    tar -zvxf apache-hive-1.2.1-bin.tar.gz

  2. 配置Hive配置环境变量

    vim ~/.bash_profile
export HIVE_HOME=/usr/apache-hive-1.2.2-bin
PATH=$PATH:$HIVE_HOME/bin

  3. 替换和添加相关jar包

    –修改HADOOP_HOME/share/hadoop/yarn/lib目录下的jline-*.jar 将其替换成HIVE_HOME/lib下的jline-2.12.jar；

    rm HADOOP_HOME/share/hadoop/yarn/lib/jline.*.jar
cp HIVE_HOME/lib/jline.*.jar HADOOP_HOME/share/hadoop/yarn/lib/

    –将hive连接mysql的jar包(mysql-connector-java-5.1.32-bin.jar)拷贝到hive解压目录的lib目录下：

  4. 修改配置文件

    见下一小节三种安装模式，任选一种。

  5. 启动hive

2.2 Hive的三种安装模式

2.2.1 内嵌Derby单用户模式

这种安装模式的元数据是内嵌在Derby数据库中的，只能允许一个会话连接，数据会存放到HDFS上。这种方式是最简单的存储方式，只需要配置HIVE_HOME/conf/hive-site.xml：

vim HIVE_HOME/conf/hive-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<property> 
        <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:derby:;databaseName=metastore_db;create=true</value> </property>
    <property>
    	<name>javax.jdo.option.ConnectionDriverName</name>
    	<value>org.apache.derby.jdbc.EmbeddedDriver</value>
    </property>
    <property>
   		<name>hive.metastore.local</name>
    	<value>true</value>
    </property>
    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/user/hive/warehouse</value>
    </property>
</configuration>
2.2.2 本地用户模式（重要，多用于本地开发测试）

这种安装方式和嵌入式的区别在于，不再使用内嵌的Derby作为元数据的存储介质，而是使用其他数据库比如MySQL来存储元数据且是一个多用户的模式，运行多个用户client连接到一个数据库中。这种方式一般作为公司内部同时使用Hive。配置HIVE_HOME/conf/hive-site.xml：

vim HIVE_HOME/conf/hive-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<property>
		<name>hive.metastore.warehouse.dir</name>
		<value>/user/hive_rlocal/warehouse</value>
	</property>
	<property>
		<name>hive.metastore.local</name>
		<value>true</value>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionURL</name> 
		<value>jdbc:mysql://node01/hive01?createDatabaseIfNotExist=true</value>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionDriverName</name>
		<value>com.mysql.jdbc.Driver</value>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionUserName</name>
		<value>root</value>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionPassword</name>
		<value>123456</value>
	</property>
</configuration>

在node01（安装Hive和mysql的节点）启动hive：

[root@node01 ~]# hive
19/01/14 18:45:09 WARN conf.HiveConf: HiveConf of name hive.metastore.local does not exist

Logging initialized using configuration in jar:file:/usr/apache-hive-1.2.1-bin/lib/hive-common-1.2.1.jar!/hive-log4j.properties
hive>
2.2.3 远程模式（重要）

  1. Remote 一体

    这种存储方式需要在远端服务器运行一个mysql 服务器，并且需要在 Hive 服务器启动 meta服务。在异于node01（安装mysql）的节点node02中配置HIVE_HOME/conf/hive-site.xml：

    vim HIVE_HOME/conf/hive-site.xml

    <?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<property>
		<name>hive.metastore.warehouse.dir</name>
		<value>/user/hive_romote01/warehouse</value>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionURL</name>
	   <value>jdbc:mysql://node01:3306/hive02?createDatabaseIfNotExist=true</value>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionDriverName</name>
		<value>com.mysql.jdbc.Driver</value>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionUserName</name>
		<value>root</value>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionPassword</name>
		<value>123456</value>
	</property>
	<property>
		<name>hive.metastore.local</name>
		<value>false</value>
	</property>
</configuration>

    在node02（安装Hive的节点）启动hive：

    [root@node02 ~]# hive
19/01/14 18:45:09 WARN conf.HiveConf: HiveConf of name hive.metastore.local does not exist

Logging initialized using configuration in jar:file:/usr/apache-hive-1.2.1-bin/lib/hive-common-1.2.1.jar!/hive-log4j.properties
hive>

  2. Remote 分开(公司企业经常用)

    将 hive-site.xml 配置文件拆为如下两部分在两个节点配置：

    1）服务端配置文件，在异于node01（安装mysql）的节点node02中配置HIVE_HOME/conf/hive-site.xml：

    <?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<property>
		<name>hive.metastore.warehouse.dir</name>
		<value>/user/hive_romote01/warehouse</value>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionURL</name>
	   <value>jdbc:mysql://node02:3306/hive03?createDatabaseIfNotExist=true</value>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionDriverName</name>
		<value>com.mysql.jdbc.Driver</value>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionUserName</name>
		<value>root</value>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionPassword</name>
		<value>123456</value>
	</property>
</configuration>

    2）客户端配置文件，在异于node01（安装mysql）和node02（安装hive服务的）的节点node03中配置HIVE_HOME/conf/hive-site.xml：

    <?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
	<configuration>
		<property>
			<name>hive.metastore.warehouse.dir</name>
			<value>/user/hive/warehouse</value>
		</property>
		<property>
			<name>hive.metastore.local</name>
			<value>false</value>
		</property>
		<property>
			<name>hive.metastore.uris</name>
			<!--hive服务端-->
			<value>thrift://node02:9083</value>
		</property>
</configuration>

    在node02（安装Hive服务端的节点）启动hive：

    [root@node02 ~]# hive --service metastore
Starting Hive Metastore Server

    在node03（安装Hive客户端的节点）启动hive：

    [root@node03 ~]# hive
19/01/14 19:01:18 WARN conf.HiveConf: HiveConf of name hive.metastore.local does not exist

Logging initialized using configuration in jar:file:/usr/apache-hive-1.2.1-bin/lib/hive-common-1.2.1.jar!/hive-log4j.properties
hive>

3. HQL 详解

3.1 DDL语句

具体参见：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL；

Hive的数据定义语言 （LanguageManual DDL）重点是 hive 的建表语句和分区。

3.1.1 创建/删除/修改/使用数据库
  1. 查看数据库列表：
hive> show databases;
OK
default #默认数据仓库
Time taken: 1.04 seconds, Fetched: 2 row(s)
hive>
  1. 创建数据库：
语法：CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name [COMMENT database_comment];
  1. 删除数据库
语法：DROP (DATABASE|SCHEMA) [IF EXISTS] database_name;
  1. 修改数据库(了解)
语法：ALTER (DATABASE|SCHEMA) database_name SET DBPROPERTIES  (property_name=property_value, ...);
	 ALTER (DATABASE|SCHEMA) database_name SET OWNER [USER|ROLE] user_or_role;
  1. 使用数据库
USE database_name;
Use default;
3.1.2 创建/删除/表（*）
  1. 创建表（重要！）
数据类型：
data_type
  : primitive_type  原始数据类型
  | array_type		数组
  | map_type		map
  | struct_type
  | union_type  -- (Note: Available in Hive 0.7.0 and later)
 
primitive_type  
  : TINYINT
  | SMALLINT
  | INT
  | BIGINT
  | BOOLEAN
  | FLOAT
  | DOUBLE
  | DOUBLE PRECISION 
  | STRING  基本可以搞定一切
  | BINARY  
  | TIMESTAMP  
  | DECIMAL  
  | DECIMAL(precision, scale) 
  | DATE 
  | VARCHAR 
  | CHAR  
array_type
  : ARRAY < data_type >
map_type
  : MAP < primitive_type, data_type >
struct_type
  : STRUCT < col_name : data_type [COMMENT col_comment], ...>
union_type
   : UNIONTYPE < data_type, data_type, ... >

建表实例：

create table abc(
 id int,
 name string,
 age int,
 likes array<string>,
 address map<string,string>
 )
 row format delimited fields terminated by ',' 	# 字段之间的分隔符
 COLLECTION ITEMS TERMINATED by '-'				# 一个字段各个item的分隔符 
 map keys terminated by ':'						# map键值之间的分隔符
 lines terminated by '\n';						# 行分隔符

外部关键字EXTERNAL允许您创建一个表,并提供一个位置,以便hive不使用这个表的默认位置。这方便如果你已经生成的数据。当删除一个外部表,表中的数据不是从文件系统中删除。外部表指向任何HDFS的存储位置,而不是存储在配置属性指定的文件夹hive.metastore.warehouse.dir中。

  1. 删除表
语法：DROP TABLE [IF EXISTS] table_name [PURGE];
3.1.3 修改表,更新，删除数据(这些很少用)

重命名表：

语法：ALTER TABLE table_name RENAME TO new_table_name;

更新数据：

语法：UPDATE tablename SET column = value [, column = value ...] [WHERE expression]

删除数据：

语法：DELETE FROM tablename [WHERE expression]

3.2 DML语句

具体参见：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DML；

Hive数据操作语言（[LanguageManual DML](javascript:changelink(‘https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DML’,'EN2ZH_CN’)?），重点是数据加载和查询插入语法。

3.2.1 四种插入/导入数据(重要)

Hive不能很好的支持用insert语句一条一条的进行插入操作，不支持update操作。数据是以load的方式加载到建立好的表中。数据一旦导入就不可以修改。

  • 第一种：

从HDFS上导数据

语法：LOAD DATA INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)]

从本地服务器上导数据

语法：LOAD DATA LOCAL INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)]
  • 第二种

创建person2表，然后从表person1…中导入数据：

语法：INSERT OVERWRITE TABLE person2 [PARTITION (partcol1=val1, partcol2=val2 ...)]
	 SELECT id,name,age From person1;
  • 第三种
语法：FROM person1 t1
	 INSERT OVERWRITE TABLE person2 [PARTITION (partcol1=val1, partcol2=val2 ...)]
       SELECT t1.id, t1.name, t1.age

from放前面好处就是后面可以插入多条语句，如：

FROM person1 t1 
INSERT OVERWRITE TABLE person2  
 SELECT t1.id,t1.name,t1.age,t1.likes,t1.address where…
INSERT OVERWRITE TABLE person3
 SELECT t1.id,t1.name,t1.age,t1.likes,t1.address where…;
  • 第四种（ 不建议）
INSERT INTO TABLE person1
	VALUES(1,'zhangsa',18),(2,'zhangsa',22)
3.2.2 查询数据并保存
  • 保存数据到本地：
insert overwrite local directory '/opt/datas/person1'
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
select * from person ;

查看数据：

hive> !cat /opt/datas/person1/000000_0;
1,zhangsan,18,gamegirlbook,stu_addrbeijingwork_addrshanghai
2,lishi,16,shopboybook,stu_addrhunanwork_addrshanghai
3,wang2mazi,20,fangniueat,stu_addrshanghaiwork_addrtianjing
hive>
  • 保存数据到HDFS上：
nsert overwrite directory '/user/hive_remote02/hive/person'
select * from person ;
  • 在shell中将数据重定向到文件中：
[root@node03 ~]# hive -e "select * from mydb.person;" > /opt/datas/person2.txt
19/01/14 19:57:35 WARN conf.HiveConf: HiveConf of name hive.metastore.local does not exist

Logging initialized using configuration in jar:file:/usr/apache-hive-1.2.1-bin/lib/hive-common-1.2.1.jar!/hive-log4j.properties
OK
Time taken: 4.235 seconds, Fetched: 3 row(s)
[root@node03 ~]#
3.2.3 备份数据或还原数据
  1. 备份数据:
EXPORT TABLE person TO '/user/hadoop/hive/datas/export/person_bak' ;
  1. 删除再还原数据:
先删除表
drop table person;
show tables from mydb;
再还原数据：
IMPORT TABLE person_new FROM '/user/hadoop/hive/datas/export/person_bak' ;
3.2.4 Hive的其它函数

Hive的group by\join(left join right join等)\having\sort by \order by等操作和MySQL没有什么大的区别。

3.3 Hive SerDe

Hive SerDe - Serializer and Deserializer SerDe 用于做序列化和反序列化。构建在数据存储和执行引擎之间，对两者实现解耦。

Hive通过ROW
FORMAT DELIMITED以及SERDE进行内容的读写：

row_format（语法）
: DELIMITED 
          [FIELDS TERMINATED BY char [ESCAPED BY char]] 
          [COLLECTION ITEMS TERMINATED BY char] 
          [MAP KEYS TERMINATED BY char] 
          [LINES TERMINATED BY char] 
: SERDE serde_name [WITH SERDEPROPERTIES (property_name=property_value, property_name=property_value, ...)]

如 /root/hivedata.txt 存在如下数据:

192.168.57.4 - - [29/Feb/2016:18:14:35 +0800] "GET /bg-upper.png HTTP/1.1" 304 -
192.168.57.4 - - [29/Feb/2016:18:14:35 +0800] "GET /bg-nav.png HTTP/1.1" 304 -
192.168.57.4 - - [29/Feb/2016:18:14:35 +0800] "GET /asf-logo.png HTTP/1.1" 304 -
192.168.57.4 - - [29/Feb/2016:18:14:35 +0800] "GET /bg-button.png HTTP/1.1" 304 -
192.168.57.4 - - [29/Feb/2016:18:14:35 +0800] "GET /bg-middle.png HTTP/1.1" 304 -
192.168.57.4 - - [29/Feb/2016:18:14:36 +0800] "GET / HTTP/1.1" 200 11217
192.168.57.4 - - [29/Feb/2016:18:14:36 +0800] "GET / HTTP/1.1" 200 11217

Hive正则匹配创建表：

 CREATE TABLE logtbl (
    host STRING,
    identity STRING,
    t_user STRING,
    time STRING,
    request STRING,
    referer STRING,
    agent STRING)
  ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.RegexSerDe'
  WITH SERDEPROPERTIES (
    "input.regex" = "([^ ]*) ([^ ]*) ([^ ]*) \\[(.*)\\] \"(.*)\" (-|[0-9]*) (-|[0-9]*)"
  )
  STORED AS TEXTFILE;

反序列化加载数据：

hive> load data local inpath '/root/hivedata.txt' overwrite into table logtbl;
Loading data to table mydb.logtbl
Table mydb.logtbl stats: [numFiles=1, numRows=0, totalSize=551, rawDataSize=0]
OK
Time taken: 5.362 seconds
hive> select * from logtbl;
OK
192.168.57.4	-	-	29/Feb/2016:18:14:35 +0800	GET /bg-upper.png HTTP/1.1	304	-
192.168.57.4	-	-	29/Feb/2016:18:14:35 +0800	GET /bg-nav.png HTTP/1.1	304	-
192.168.57.4	-	-	29/Feb/2016:18:14:35 +0800	GET /asf-logo.png HTTP/1.1	304	-
192.168.57.4	-	-	29/Feb/2016:18:14:35 +0800	GET /bg-button.png HTTP/1.1	304	-
192.168.57.4	-	-	29/Feb/2016:18:14:35 +0800	GET /bg-middle.png HTTP/1.1	304	-
192.168.57.4	-	-	29/Feb/2016:18:14:36 +0800	GET / HTTP/1.1	200	11217
192.168.57.4	-	-	29/Feb/2016:18:14:36 +0800	GET / HTTP/1.1	200	11217
Time taken: 0.189 seconds, Fetched: 7 row(s)
hive>

4. Beeline 和 Hiveserver2

hiveserver2直接启动（hive服务器所在节点）：

[root@node02 ~]# hiveserver2
OK
OK

启动 beeline（hive客户端所在节点）：

[root@node03 ~]# beeline
Beeline version 1.2.1 by Apache Hive
beeline> !connect jdbc:hive2://node02:10000 root 123456
Connecting to jdbc:hive2://node02:10000
Connected to: Apache Hive (version 1.2.1)
Driver: Hive JDBC (version 1.2.1)
Transaction isolation: TRANSACTION_REPEATABLE_READ
0: jdbc:hive2://node02:10000> show databases;
+----------------+--+
| database_name  |
+----------------+--+
| default        |
| mydb           |
+----------------+--+
2 rows selected (1.426 seconds)
1: jdbc:hive2://node02:10000>

5. Hive分区

5.1 Hive的分区partition（重要）

假如现在我们公司一天产生3亿的数据量，那么为了方便管理和查询，此时可以建立分区（可按日期 部门等具体业务分区），区分类别的管理。需要注意：

  • 必须在表定义时创建partition；
  • 分区分为：单分区和多分区；
  • 分区分为：静态分区和动态分区。
5.1.1 创建分区
  1. 单分区建表语句：
create
table day_table(id int, content string) partitioned by (dt string) row format
delimited fields terminated by ',';

单分区表，按天分区，在表结构中存在id，content，dt三列，以dt为文件夹区分；

  1. 双分区建表语句：
create table day_hour_table (id int, content string) partitioned by (dt string, hour string) row format delimited fields terminated by ',';

双分区表，按天和小时分区，在表结构中新增加了dt和hour两列；先以dt为文件夹，再以hour子文件夹区分。

注意：在创建 删除多分区等操作时一定要注意分区的先后顺序，他们是父子节点的关系。分区字段不要和表字段相同。

5.1.2 添加分区表的分区

表已创建，在此基础上添加分区：

ALTER TABLE table_name
ADD partition_spec [ LOCATION 'location1' ] partition_spec [ LOCATION 'location2' ] ...
5.1.3 删除分区
语法：ALTER TABLE table_name DROP partition_spec, partition_spec,...

注意：用户可以用ALTER TABLE DROP PARTITION 来删除分区，分区的元数据和数据将被一并删除。

5.1.4 数据加载进分区表中
语法：LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1,partcol2=val2 ...)]

例如：

 LOAD DATA INPATH '/user/pv.txt' INTO TABLE day_hour_table PARTITION(dt='2008-08-08', hour='08');
5.1.5 查看分区语句
hive> show partitions table_name;
5.1.6 重命名分区
语法：ALTER TABLE table_name PARTITION partition_spec RENAME TO PARTITION 			          partition_spec;
5.1.7 动态分区(重要)

  1. 在本地文件/root/hivedata.txt中写入以下4行数据：

    aaa,US,CA
aaa,US,CB
bbb,CA,BB
bbb,CA,BC

  2. 建立非分区表并加载数据

    hive> CREATE TABLE t1 (name STRING, cty STRING, st STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';  
hive> LOAD DATA LOCAL INPATH '/root/hivedata.txt' INTO TABLE t1;    
SELECT * FROM t1;

  3. 建立外部分区表并动态加载数据 （注意删除外部表的相关事项）

    hive> CREATE EXTERNAL TABLE t2 (name STRING) PARTITIONED BY (country STRING, state STRING);

  4. 动态分区的参数

    set hive.exec.dynamic.partition;#是否开启动态分区功能，默认false关闭
set hive.exec.dynamic.partition.mode;#动态分区的模式，默认strict，表示必须指定至少一个分区为静态分区，nonstrict模式表示允许所有的分区字段都可以使用动态分区。
set hive.exec.max.dynamic.partitions.pernode;#默认值：100,在每个执行MR的节点上，最大可以创建多少个动态分区。
set hive.exec.max.dynamic.partitions;#默认值：1000,在所有执行MR的节点上，最大一共可以创建多少个动态分区。
set hive.exec.max.created.files;#默认值：100000整个MR Job中，最大可以创建多少个HDFS文件。
set hive.error.on.empty.partition;#默认值：false当有空分区生成时，是否抛出异常。一般不需要设置。

  5. 设置动态分区参数

    set hive.exec.dynamic.partition=true;  
set hive.exec.dynamic.partition.mode=nonstrict;  
set hive.exec.max.dynamic.partitions.pernode=1000;

  6. 加载数据

    INSERT INTO TABLE t2 PARTITION (country, state) SELECT name, cty, st FROM t1;

6. 函数自定义

自定义函数包括三种 UDF、UDAF、UDTF：

  • UDF：一进一出
  • UDAF：聚集函数，多进一出。如：Count/max/min
  • UDTF：一进多出，如 lateralview explore()

使用方式 ：在HIVE会话中add自定义函数的jar 文件，然后创建 function 继而使用函数，后续总结。

7. 分桶

7.1 分桶表及应用场景

分桶表是对列值取哈希值的方式，将不同数据放到不同文件中存储（类似MapReduce中的默认partition对于Key值得分区）。对于hive中每一个表、分区都可以进一步进行分桶。由列的哈希值除以桶的个数来决定每条数据划分在哪个桶中。

适用场景：数据抽样（ sampling ）、map-join。

7.2 开启支持分桶

hive> set hive.enforce.bucketing=true;

注意：一次作业产生的桶（文件数量）和reduce task个数一致。

7.3 往分桶表中加载数据

语法：insert into table bucket_table select columns from tbl;

7.4 抽样查询

语法：select * from bucket_table tablesample(bucket 1 out of 4 on columns);
TABLESAMPLE语法：
TABLESAMPLE(BUCKET x OUT OF y)
x：表示从哪个bucket开始抽取数据
y：必须为该表总bucket数的倍数或因子
JankoWilliam
关注
  • 15
    点赞
  • 踩
  • 50
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
Hive数据仓库（分析存储在hdfs上面的数据）
weixin_45863062的博客
08-26 3722
Hive的产生 非java编程者对hdfs的数据做mapreduce操作 Hive简介 Hive : 数据仓库。 Hive：解释器，编译器，优化器等。 Hive 运行时，元数据存储在关系型数据库（mysql）里面 用户接口主要有三个：CLI（命令行），Client 和 WUI。其中最常用的是CLI，Cli启动的时候，会同时启动一个Hive副本。Client是Hive的客户端，用户连接至Hive Server。在启动 Client模式的时候，需要指出Hive Server所在节点，并且在该节点启动Hive
大数据技术原理与应用（第六章Hive测试）
m0_47554321的博客
10-17 788
大数据技术原理与应用（第六章Hive测试）
将数据导入Hive
iMark
10-15 255
三种方式 standalone package trafficePro.data2hive; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaSparkContext; import org.apache.spark.sql.hive.HiveContext; /** * 1.代码方式向hive中创建数据 * 2.后面可以有sql文件执行直接在hive中创建数据库表 * */ public class
第四节 HQL的执行过程
编程代码，数据学习开发的日常总结。欢迎关注VX公众号：张飞的猪大数据分享
09-23 881
解析器、编译器、优化器完成HQL查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在HDFS中，并在随后由Map Reduce调用执行
hadoop基础知识 学习笔记
阿柠xn
09-09 346
第一章：hadoop介绍 大数据技术介绍 数据的来源 在早期，数据是通过调查问卷的方式进行，但互联网的兴起，数据的调查不需要问卷方式，可以通过用户的操作行为来记录并进行统计，且并数据是大规模的存储在存储服务器集群中。 什么是大数据 大数据（bigdata），IT行业术语，是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 主要特征：海量数据存储和海量数据分析 单位运算： 1 Byte =8
大数据管理与优化——Hive配置文件
06-28
本文件内容适用于学习Hadoop时所需配置Hive的所有文件，包括以下内容： apache-hive-2.0.0-bin.tar.gz hive-site.xml my.cnf .txt mysql-community-client-5.7.18-1.el7.x86_64.rpm mysql-community-common-5.7.18-1...
大数据系列-Hive
07-31
Hive虽然不支持传统数据库的B树索引，但提供了一种基于数据分区的索引机制——Bucketing和Sorting，以加速查询。 3. **数据倾斜问题**：当某些分区或分桶中的数据量远大于其他时，会导致计算资源分配不均，影响整体...
大数据概述——精选推荐.pdf
最新发布
12-24
大数据计算模式包括批处理计算（如MapReduce、Spark）、流计算（如Storm、Flume）、图计算（如Pregel、Giraph）和查询分析计算（如Dremel、Hive）。这些计算模式分别适用于不同场景的需求，如批量数据处理、实时数据...
Hive那些事儿之八-大数据踩过的坑——Hive insert
01-07
Hive那些事儿之八-大数据踩过的坑——Hive insert 我在对Hive表数据清洗后，使用了如下SQL将结果集插入到新表中: insert into db_name.table_name_1 ( col_1,col2,col3 ) with temp_table_1 as ( select id,col_2 ...
Hive学习
qq_40822132的博客
12-28 1263
由Facebook开源用于解决海量结构化日志的数据统计工具 Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。 Hive 查询操作过程严格遵守Hadoop MapReduce 的作业执行模型，Hive 将用户的HiveQL 语句通过解释器转换为提交到H...
Hive
weixin_41924879的博客
09-16 580
Hive Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。 Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工...
Hive的安装与优化
TaiYangb的博客
07-23 565
HIve: Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行,数据仓库使用来做查询数九分析的数据库,基本不用来做修改,删除操作, Hive架构原理: 安装单用户模式Hive: 1:安装mysql数据库: yum install mysql-server -y 2:开启mysql服...
hive的三种用户定义函数
yritssh的博客
02-11 1379
一、UDF(user-defined function)       作用于单个数据行，且产生一个数据行作为输出。大多数函数（例如数学函数和字符串函数）都属于这类函数。二、UDAF（user-defined aggregate function）        接受多个输入数据行，只产生一个输出数据行作为输出。（用户定义聚合函数）三、UDAF(user-defined table-generati...
Hadoop Hive概念学习系列之hive里的HiveQL——查询语言（十五）
weixin_33984032的博客
11-26 160
　　Hive的操作与传统关系型数据库SQL操作十分类似。   　　Hive主要支持以下几类操作： DDL 　　1、DDL：数据定义语句，包括CREATE、ALTER、SHOW、DESCRIBE、DROP等。   　　　　　详细点，就是 　　Hive支持大量SQL数据定义语言（Data Definition Language，DDL）中的现有功能，包括以下各种语句： 　　CREATE...
hive简介及使用技巧
qq_38963685的博客
07-08 417
1.HIVE简介 ​ Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射成一张数据库表，并提供简单的sql查询功能，可以将sql语句转化为mapreduce任务进行运行。hive定义了简单的类sql查询语言，称为HQL，允许熟悉SQL的用户查询数据。同时这个语言也允许熟悉MapReduce的开发者的开发自定义的mapper和reducer来处理内建的mapper和reducer无法处理的复杂的分析工作。 2.HIVE-DDL Hive建表(压缩表和非压缩表) 一个表可以拥有一个或
HQL的执行过程
weixin_30906425的博客
06-19 227
解释器、编译器、优化器完成HQL查询语句从词法分析、语法分析、编译、优化以及查询计划（Plan）的生成。生成的查询计划存储在HDFS中，并在随后有mapreduce调用执行。 举个例子： 第一步：输入一条HQL查询语句（select * from tab） 第二步：解析器对这条Hql语句进行语法分析。 第三步：编译器对这条Hql语句生成HQL的执行计划。 第四步：优化器生成最佳的Hql的...
Hive的访问接口
热门推荐
上帝之手
02-09 1万+
Hive提供了三种客户端访问接口： 1）Hive CLI（Hive Command Line，Hive命令行），客户端可以直接在命令行模式下进行操作。 2）hwi（Hive Web Interface，Hive Web接口），Hive提供了更直观的Web界面 3）hiveserver，Hive提供了Thrift服务，Thrift客户端目前支持C++/Java/PHP/Python
Hive的常用HiveQL操作
weixin_44961794的博客
06-09 2986
一、Hive简介 Hive是Facebook开发的构建于Hadoop集群之上的数据仓库应用，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。 Hive是一个可以提供有效的、合理的且直观的组织和使用数据的模型，即使对于经验丰富的Java开发工程师来说，将这些常见的数据运算对应到底层的MapReduce Java API也...
Hadoop大数据：Hive入门与核心概念解析
本文将深入探讨Hadoop大数据开发中的关键技术——Hive，一个由Facebook开源并设计用于处理大量结构化日志数据的工具。Hive的出现是为了应对MapReduce编程的复杂性，MapReduce的传统编程模式对于非专业开发者来说较为...
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值