Hive基本使用

最新推荐文章于 2024-01-10 10:39:09 发布
最新推荐文章于 2024-01-10 10:39:09 发布
阅读量3.1k 收藏 1
点赞数
分类专栏： 其他
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lihm0_1/article/details/17579903
版权
1、生成测试数据
 
使用ASCII 06作为分隔符，在bash下用ctrl+v ctrl+f输入
seq 1 9999999 | awk '{print $1"^F"$1"aaaaaaaaaaaaaaaa"}' > a.txt
2、创建表结构 
hive (dcenter)> create table t(id int,msg string) row format delimited fields terminated by '\006' stored as textfile;
OK
Time taken: 0.191 seconds


--查看表结构
hive (dcenter)> desc formatted t;
OK
# col_name            	data_type           	comment             
	 	 
id                  	int                 	None                
msg                 	string              	None                
	 	 
# Detailed Table Information	 	 
Database:           	dcenter             	 
Owner:              	hc                  	 
CreateTime:         	Thu Dec 26 11:00:04 CST 2013	 
LastAccessTime:     	UNKNOWN             	 
Protect Mode:       	None                	 
Retention:          	0                   	 
Location:           	hdfs://hc1:9000/hive/warehouse/dcenter.db/t	 
Table Type:         	MANAGED_TABLE       	 
Table Parameters:	 	 
	transient_lastDdlTime	1388026804          
	 	 
# Storage Information	 	 
SerDe Library:      	org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe	 
InputFormat:        	org.apache.hadoop.mapred.TextInputFormat	 
OutputFormat:       	org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat	 
Compressed:         	No                  	 
Num Buckets:        	-1                  	 
Bucket Columns:     	[]                  	 
Sort Columns:       	[]                  	 
Storage Desc Params:	 	 
	field.delim         	\u0006              
	serialization.format	\u0006              
Time taken: 0.183 seconds
3、导入表数据 
--本地载入
hive (dcenter)> load data local inpath '/tmp/a.txt' overwrite into table t;
Copying data from file:/tmp/a.txt
Copying file: file:/tmp/a.txt
Loading data to table dcenter.t
Deleted hdfs://hc1:9000/hive/warehouse/dcenter.db/t
OK
Time taken: 28.181 seconds


--HDFS载入
hive (dcenter)> load data  inpath '/tmp/a.*' overwrite into table t;
Loading data to table dcenter.t
Deleted hdfs://hc1:9000/hive/warehouse/dcenter.db/t
OK
Time taken: 0.768 seconds
4、查看表文件 
--HDFS载入的时候，实际做的是文件移动
hive (dcenter)> dfs -ls /hive/warehouse/dcenter.db/t;
Found 1 items
-rw-r--r--   2 hc supergroup  317777760 2013-12-26 11:28 /hive/warehouse/dcenter.db/t/a.txt
5、外部表创建 
--外部表文件的位置要位于HDFS中，客户端节点上的文件他是不能识别的
hive (dcenter)> create external table t1(id int,msg string) row format delimited fields terminated by '\006' stored as textfile ocation '/tmp/b.txt';
OK
Time taken: 0.213 seconds	
hive (dcenter)> desc formatted t1;
OK
# col_name            	data_type           	comment             
	 	 
id                  	int                 	None                
msg                 	string              	None                
	 	 
# Detailed Table Information	 	 
Database:           	dcenter             	 
Owner:              	hc                  	 
CreateTime:         	Thu Dec 26 11:37:17 CST 2013	 
LastAccessTime:     	UNKNOWN             	 
Protect Mode:       	None                	 
Retention:          	0                   	 
Location:           	hdfs://hc1:9000/tmp/b.txt	 
Table Type:         	EXTERNAL_TABLE      	 
Table Parameters:	 	 
	EXTERNAL            	TRUE                
	transient_lastDdlTime	1388029037          
	 	 
# Storage Information	 	 
SerDe Library:      	org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe	 
InputFormat:        	org.apache.hadoop.mapred.TextInputFormat	 
OutputFormat:       	org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat	 
Compressed:         	No                  	 
Num Buckets:        	-1                  	 
Bucket Columns:     	[]                  	 
Sort Columns:       	[]                  	 
Storage Desc Params:	 	 
	field.delim         	\u0006              
	serialization.format	\u0006              
Time taken: 0.18 seconds
6、分区表创建 
--分区表物理上把不同分区放在各自的目录文件中，可以在load数据的时候动态创建
hive (dcenter)> create table t2 ( id int,msg string) partitioned by( indate string) row format delimited fields terminated by '\006' stored as textfile ;
OK
Time taken: 1.524 seconds	
hive (dcenter)> load data local inpath '/tmp/b.txt' overwrite into table t2 partition(indate="20131001");
Copying data from file:/tmp/b.txt
Copying file: file:/tmp/b.txt
Loading data to table dcenter.t2 partition (indate=20131001)
OK
Time taken: 28.818 seconds
hive (dcenter)> load data local inpath '/tmp/b.txt' overwrite into table t2 partition(indate="20131002");
Copying data from file:/tmp/b.txt
Copying file: file:/tmp/b.txt
Loading data to table dcenter.t2 partition (indate=20131002)
OK
Time taken: 28.348 seconds
访问分区的方式如下：
hive (dcenter)> select count(1) from t2 where indate>='20131001' and indate<'20131002';
Total MapReduce jobs = 1
Launching Job 1 out of 1
.....
7、导出表数据
 
hive (dcenter)> insert overwrite local directory '/tmp/t' select * from t;
Total MapReduce jobs = 1
Launching Job 1 out of 1
...
--大致检测表数据
hive (dcenter)> !wc -l /tmp/t/000000_0;
9999 /tmp/t/000000_0
[hc@hc8 t]$ hexdump -C /tmp/t/000000_0 | head -2
00000000  31 01 31 61 61 61 61 61  61 61 61 61 61 61 61 61  |1.1aaaaaaaaaaaaa|
00000010  61 61 61 0a 32 01 32 61  61 61 61 61 61 61 61 61  |aaa.2.2aaaaaaaaa|


[hc@hc8 t]$ hexdump -C /tmp/a.txt | head -2
00000000  31 06 31 61 61 61 61 61  61 61 61 61 61 61 61 61  |1.1aaaaaaaaaaaaa|
00000010  61 61 61 0a 32 06 32 61  61 61 61 61 61 61 61 61  |aaa.2.2aaaaaaaaa|
可以看导入文件的分隔符虽然为06，但导出后变为了01，这也是Hive的默认列分隔符，可以更改。

8、视图创建 
--视图可以降低我们编写SQL的复杂程度，如下面转化
hive (dcenter)> from( select * from t where id<100 order by id asc)
              > a select id,msg where id>98;
Total MapReduce jobs = 1
Launching Job 1 out of 1
...


hive (dcenter)> create view v_t as select * from t where id<100 order by id asc;
OK
Time taken: 0.284 seconds
hive (dcenter)> select * from v_t where id>98;
OK
99	99aaaaaaaaaaaaaaaa
Time taken: 33.617 seconds
9、explain的使用
 
hive (dcenter)> explain select count(1) from t a join t1 b on (a.id=b.id);
OK
ABSTRACT SYNTAX TREE:
  (TOK_QUERY (TOK_FROM (TOK_JOIN (TOK_TABREF (TOK_TABNAME t) a) (TOK_TABREF (TOK_TABNAME t1) b) (= (. (TOK_TABLE_OR_COL a) id) (. (TOK_TABLE_OR_COL b) id)))) (TOK_INSERT (TOK_DESTINATION (TOK_DIR TOK_TMP_FILE)) (TOK_SELECT (TOK_SELEXPR (TOK_FUNCTION count 1)))))


STAGE DEPENDENCIES://阶段间的依赖关系
  Stage-1 is a root stage
  Stage-2 depends on stages: Stage-1
  Stage-0 is a root stage


STAGE PLANS:
  Stage: Stage-1 
    Map Reduce  --该阶段扫描t t1 两个表，先做map操作，打相应文件标记
      Alias -> Map Operator Tree:
        a 
          TableScan
            alias: a
            Reduce Output Operator
              key expressions:
                    expr: id
                    type: int
              sort order: +
              Map-reduce partition columns:
                    expr: id
                    type: int
              tag: 0
        b 
          TableScan
            alias: b
            Reduce Output Operator
              key expressions:
                    expr: id
                    type: int
              sort order: +
              Map-reduce partition columns:
                    expr: id
                    type: int
              tag: 1
      Reduce Operator Tree: --reduce阶段读取来自不同文件的相同KEY，进行合并
        Join Operator
          condition map:
               Inner Join 0 to 1
          condition expressions:
            0 
            1 
          handleSkewJoin: false
          Select Operator
            Group By Operator
              aggregations:
                    expr: count(1)
              bucketGroup: false
              mode: hash
              outputColumnNames: _col0
              File Output Operator
                compressed: false
                GlobalTableId: 0
                table:
                    input format: org.apache.hadoop.mapred.SequenceFileInputFormat
                    output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat


  Stage: Stage-2 --该阶段统计Stage-1的记录数
    Map Reduce
      Alias -> Map Operator Tree:
        hdfs://hc1:9000/tmp/hive-hc/hive_2013-12-26_15-54-38_047_2645242837849245691/-mr-10002 
            Reduce Output Operator
              sort order: 
              tag: -1
              value expressions:
                    expr: _col0
                    type: bigint
      Reduce Operator Tree:
        Group By Operator
          aggregations:
                expr: count(VALUE._col0)
          bucketGroup: false
          mode: mergepartial
          outputColumnNames: _col0
          Select Operator
            expressions:
                  expr: _col0
                  type: bigint
            outputColumnNames: _col0
            File Output Operator
              compressed: false
              GlobalTableId: 0
              table:
                  input format: org.apache.hadoop.mapred.TextInputFormat
                  output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat


  Stage: Stage-0 --取出数据
    Fetch Operator
      limit: -1




Time taken: 0.262 seconds

Stage-1阶段操作如下图：



10、修改表结构
 
--需要导入的数据，b.txt比a.txt多一列
[root@hc8 tmp]# cat a.txt
11aaaaaaaaaaaaaaaa
22aaaaaaaaaaaaaaaa
[root@hc8 tmp]# cat b.txt 
11aaaaaaaaaaaaaaaa6
22aaaaaaaaaaaaaaaa7
--创建分区表
hive (dcenter)> create table t ( id int,msg string) partitioned by( indate string) row format delimited fields terminated by '\006' stored as textfile ;
OK
Time taken: 0.453 seconds
--导入一个分区
hive (dcenter)> load data local inpath '/tmp/a.txt' overwrite into table t partition(indate="1001");
Copying data from file:/tmp/a.txt
Copying file: file:/tmp/a.txt
Loading data to table dcenter.t partition (indate=1001)
OK
Time taken: 1.111 seconds
--查询数据
hive (dcenter)> select * from t;
OK
1	1aaaaaaaaaaaaaaaa	1001
2	2aaaaaaaaaaaaaaaa	1001
Time taken: 0.408 seconds
--修改表结构
hive (dcenter)> alter table t add columns (id2 int);
OK
Time taken: 0.371 seconds
--再次导入分区
hive (dcenter)> load data local inpath '/tmp/b.txt' overwrite into table t partition(indate="1002");
Copying data from file:/tmp/b.txt
Copying file: file:/tmp/b.txt
Loading data to table dcenter.t partition (indate=1002)
OK
Time taken: 0.918 seconds
--查询数据
hive (dcenter)> select * from t;
OK
1	1aaaaaaaaaaaaaaaa	NULL	1001
2	2aaaaaaaaaaaaaaaa	NULL	1001
1	1aaaaaaaaaaaaaaaa	6	1002
2	2aaaaaaaaaaaaaaaa	7	1002
Time taken: 0.436 seconds
11、自定义函数的使用
1）编写函数类，继承自UDF，函数调用时会调用evaluate 
package com.zy.hive.function;


import java.util.ArrayList;
import java.util.List;


import org.apache.hadoop.hive.ql.exec.UDF;
	
public class range extends UDF{
	//构建IP查询库
	private static List<IpRange> ipLib = new ArrayList<IpRange>();
	static{
		for(int i=0;i<5695104;i++){
			ipLib.add(new IpRange(i,i+5,"USA"+i));
		}
	}
	//调用时执行的函数
	public String evaluate(int ip){
		IpRange ir;
		for(int i=0;i<ipLib.size();i++){
			ir = ipLib.get(i);
			if(ip>=ir.getStartip() && ip <= ir.getEndip()){
				return ir.getCountry();				
			}
		}
		return null;
	}
	
	public static void main(String[] args) {
		range a = new range();
		for(int i=0;i<100;i++)
		System.out.println(a.evaluate(2));
	}
}


//ip类结构
class IpRange{
	private int startip;
	private int endip;
	private String country;
	public IpRange(int startip, int endip, String country) {
		this.startip = startip;
		this.endip = endip;
		this.country = country;
	}
	public int getStartip() {
		return startip;
	}
	public void setStartip(int startip) {
		this.startip = startip;
	}
	public int getEndip() {
		return endip;
	}
	public void setEndip(int endip) {
		this.endip = endip;
	}
	public String getCountry() {
		return country;
	}
	public void setCountry(String country) {
		this.country = country;
	}
	
}
2）导出jar文件
3）保存至hive客户端节点一个目录中
4）加载jar文件 
hive (dcenter)> add jar /tmp/lihm_udf1.jar;
Added /tmp/lihm_udf1.jar to class path
Added resource: /tmp/lihm_udf1.jar
5）创建临时函数 
hive (dcenter)> create temporary function findip as 'com.zy.hive.function.range';
OK
Time taken: 5.669 seconds
6）调用函数 
hive (dcenter)> select id,findip(id) from t;
1	USA0
2	USA0
1	USA0
2	USA0
Time taken: 28.983 seconds
7）删除函数 
hive (dcenter)> drop  temporary function findip;
OK
Time taken: 0.013 seconds

12、利用Hive API操作Hive实例
 
package com.zy.hive.function;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.Statement;


public class HiveServerTest {
	public static void main(String[] args) throws Exception {
		String driverName = "org.apache.hadoop.hive.jdbc.HiveDriver";
		Class.forName(driverName);
		Connection conn = DriverManager.getConnection("jdbc:hive://192.168.1.1:10000/dcenter","","");
		Statement stmt = conn.createStatement();
		stmt.executeQuery("use dcenter");
		//query record from a table
		ResultSet rst = stmt.executeQuery("select id,msg from t");
		while(rst.next()){
			System.out.println("id:"+rst.getInt(1)+"  msg:"+rst.getString(2));
		}
		//show tables
		rst = stmt.executeQuery("show tables");
		while(rst.next()){
			System.out.println(rst.getString(1)+"\t");
		}
		conn.close();
	}
}



__海盗__
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hive基础使用
a60782885的博客
07-18 889
Hive启动方式： 1.CLI界面：使用hive命令或hive --service cli即可进入hive cli。 2.远程服务：使用hive --service hiveserver &方式启动远程服务，这样就可以使用jdbc或thrift客户端调用hive数据仓库。 Hive数据类型 我们可以在官网的hive wiki中查看到所有的数据类型。Hive wiki
hive之DDL DML 内置函数
~长风破浪~
07-23 962
创建表 hive (default)> show tables; ---查看所有表 OK tab_name data_emp hello Time taken: 1.061 seconds, Fetched: 2 row(s) hive (default)> create table data_emp2 like data_emp; ...
Hive 数据定义DDL详解
程序员学习圈
08-25 4751
1.创建数据库 1.1 创建一个数据库，数据库在HDFS上的默认存储路径是/user/hive/warehouse/*.db。 hive (default)> create database db_hive; 1.2 避免要创建的数据库已经存在错误，增加if not exists判断。（标准写法） hive> create database db_hive; FAIL...
hive - last_modified_time&transient_lastDdlTime
weixin_36630761的博客
12-04 2642
hive 表的属性
【Hive】查看表的基本信息（comment，created_at，creator, transient_lastDdlTime)
喜东东的博客
08-29 7824
1.前言 原本只是想简简单单查一下表的基本信息（如表的注释、创建时间等），然后汇总一下便于查看。 结果搜索加尝试了半天，要么就desc tablename只能看表结构，desc formatted tablename 的comment中文乱码。 后面终于找到解决我需求的方法↓↓↓ 2.解决 SHOW TBLPROPERTIES table_name; ...
Hive ACID事务表
最新发布
qq_44540985的博客
01-10 1287
关于hive ACID事务表的一些内容记载
Hive 基本命令操作1
08-03
以上就是关于Hive基本命令操作的一些核心知识点，包括创建表、查看表结构、数据加载以及查询等。在实际操作中，根据业务需求选择合适的数据模型（如分区表）并正确地管理数据，能够极大地提高数据处理的效率和便利性...
hive基本命令行操作
12-12
hive基本命令行操作
Hive基本语法使用
08-08
Hive是Apache Hadoop生态系统中的一个数据仓库工具，它允许用户使用...通过上述的Hive基本语法和使用，我们可以有效地管理和分析大规模数据。结合实际业务需求，合理运用Hive的特性，可以提高数据分析的效率和准确性。
13-Hive基本操作1
08-08
以下是关于Hive基本操作的详细说明： 1. **创建数据库**： 使用`CREATE DATABASE`语句可以创建新的Hive数据库。例如，`CREATE DATABASE DB`将创建一个名为DB的新数据库。如果希望避免因数据库已存在而引发的错误，...
Hive使用手册Hive使用手册
05-14
连接Hive通常通过Hive Shell或使用其他支持Hive的客户端如Beeline、Hue等。要连接Hive，你需要知道Hive服务器的地址、端口以及认证方式（如果有的话）。 2. **Hive支持的数据类型** - **原子数据类型** 包括：INT...
Hive实战使用指南1
08-08
本指南将深入介绍Hive的基本概念、工作原理以及实际操作，旨在提供一个全面的参考，帮助读者快速上手，并能解决在使用过程中遇到的问题。内容覆盖了从安装配置到实际应用的全过程。 2. Hive简介 2.1 Hive定义 ...
Hive基本命令整理
06-16
Hive基本命令整理 作为大数据处理的重要工具，Hive 提供了许多实用的命令来帮助开发人员高效地处理和分析数据。下面是 Hive 中的一些基本命令整理，涵盖了表的创建、加载数据、查看结构信息、更新表名、添加新列、...
HIVE Statistics(Hive 统计信息) 的说明和查询优化详解
houzhizhen的专栏
03-09 8271
本文从普通用户的角度讲述 Hive 统计信息，源代码角度请参考。 统计信息的分类 有两种统计信息，第1种为表和分区的统计信息，第2种为分区的统计信息。 表和分区的统计信息 表的统计信息 包括如下内容： numFiles – 文件的数量 numRows – 记录数量 totalSize – 总文件大小 rawDataSize – 原始数据量（因为可以压缩后存储到文件里） 对于分区表，还包括以下内容： numPartitions 1824 显示表的统计信息的语句。 des
hive建表的标准格式及其建表属性详解2
热门推荐
涤生大数据
03-30 1万+
建表方式一：demo级建表 hive (fdm_sor)> create table my_tmp (id int,ids string ); 查看建表语句（工作中经常使用的语句） hive (fdm_sor)> show create tablemy_tmp; CREATE TABLE `my_tmp`( `id` int, `ids` string) ROW...
Hive表的修改Alter
u011495642的博客
11-07 1111
原文地址：https://www.cnblogs.com/skyl/p/4736587.html     Hive表的修改Alter 1.查看创建表的信息 【show create table】 hive&gt; show create table student; OK createtab_stmt CREATE TABLE `student`( `age` int, ...
Hive 基本操作（一）DDL操作
weixin_44387652的博客
03-08 2416
Hive 基本操作（一）DDL操作1、DDL 操作1.1、库操作1.1.1、创建库1.1.2、查看库1.1.3、删除库1.1.4、切换库1.2、表操作1.2.1、创建表1.2.1.1、创建内部表1.2.1.2、创建外部表1.2.1.3、创建分区表1.2.1.3、创建分桶表1.2.1.4、使用 like 关键字拷贝表1.2.2、查看表结构信息1.2.3、修改表1.2.3.1、重命名表1.2.3.2、修改表属性1.2.3.3、修改 SerDe 信息1.2.3.4、增加/删除/改变/替换列1.2.3.5、增加/删
hive基本操作命令
09-13
下面是Hive的一些基本操作命令： 1. 使用命令`show databases;`可以查看当前所有的数据库。 2. 使用命令`CREATE DATABASE park;`可以创建一个名为park的数据库。实际上，创建数据库相当于在Hadoop的HDFS文件系统中...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值