hive入门三

最新推荐文章于 2022-09-05 22:45:00 发布
最新推荐文章于 2022-09-05 22:45:00 发布
阅读量459 收藏 1
点赞数
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/guo20082200/article/details/82430280
版权

1. 建表语句：

CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name    -- (Note: TEMPORARY available in Hive 0.14.0 and later)
  [(col_name data_type [COMMENT col_comment], ... [constraint_specification])]
  [COMMENT table_comment]
  [PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)]
  [CLUSTERED BY (col_name, col_name, ...) [SORTED BY (col_name [ASC|DESC], ...)] INTO num_buckets BUCKETS]
  [SKEWED BY (col_name, col_name, ...)                  -- (Note: Available in Hive 0.10.0 and later)]
     ON ((col_value, col_value, ...), (col_value, col_value, ...), ...)
     [STORED AS DIRECTORIES]
  [
   [ROW FORMAT row_format] 
   [STORED AS file_format]
     | STORED BY 'storage.handler.class.name' [WITH SERDEPROPERTIES (...)]  -- (Note: Available in Hive 0.6.0 and later)
  ]
  [LOCATION hdfs_path]
  [TBLPROPERTIES (property_name=property_value, ...)]   -- (Note: Available in Hive 0.6.0 and later)
  [AS select_statement];   -- (Note: Available in Hive 0.5.0 and later; not supported for external tables)

例：

– 创建内部表 略去
– 创建外部表

create external table t_sz_ext(id  int,name string)
row format delimited fields terminated by '\t'
stored as textfile 
location '/class03';

查看表结构：

0: jdbc:hive2://localhost:10000> desc formatted t_sz_ext;
+-------------------------------+-------------------------------------------------------------+-----------------------+--+
|           col_name            |                          data_type                          |        comment        |
+-------------------------------+-------------------------------------------------------------+-----------------------+--+
| # col_name                    | data_type                                                   | comment               |
|                               | NULL                                                        | NULL                  |
| id                            | int                                                         |                       |
| name                          | string                                                      |                       |
|                               | NULL                                                        | NULL                  |
| # Detailed Table Information  | NULL                                                        | NULL                  |
| Database:                     | shizhan03                                                   | NULL                  |
| Owner:                        | hadoop                                                      | NULL                  |
| CreateTime:                   | Tue Sep 04 13:32:49 CST 2018                                | NULL                  |
| LastAccessTime:               | UNKNOWN                                                     | NULL                  |
| Protect Mode:                 | None                                                        | NULL                  |
| Retention:                    | 0                                                           | NULL                  |
| Location:                     | hdfs://langzi01:9000/class03                                | NULL                  |
| Table Type:                   | EXTERNAL_TABLE                                              | NULL                  |
| Table Parameters:             | NULL                                                        | NULL                  |
|                               | EXTERNAL                                                    | TRUE                  |
|                               | transient_lastDdlTime                                       | 1536039169            |
|                               | NULL                                                        | NULL                  |
| # Storage Information         | NULL                                                        | NULL                  |
| SerDe Library:                | org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe          | NULL                  |
| InputFormat:                  | org.apache.hadoop.mapred.TextInputFormat                    | NULL                  |
| OutputFormat:                 | org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat  | NULL                  |
| Compressed:                   | No                                                          | NULL                  |
| Num Buckets:                  | -1                                                          | NULL                  |
| Bucket Columns:               | []                                                          | NULL                  |
| Sort Columns:                 | []                                                          | NULL                  |
| Storage Desc Params:          | NULL                                                        | NULL                  |
|                               | field.delim                                                 | \t                    |
|                               | serialization.format                                        | \t                    |
+-------------------------------+-------------------------------------------------------------+-----------------------+--+
29 rows selected (0.167 seconds)

导入数据：

LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO
TABLE tablename [PATITION(protcol1=val1,partcol2=val2)...]

说明：
1. Load 操作知识单纯的复制/移动操作，将数据文件移动到Hive表对应的位置
2. filepath：
相对路径：例如 project/data1
绝对路径：例如 /user/hive/project/data1
示例：
load data local inpath ‘/home/hadoop/ext.txt’ into table t_sz_ext; 

0: jdbc:hive2://localhost:10000> load data local inpath '/home/hadoop/ext.txt' into table t_sz_ext;
INFO  : Loading data to table shizhan03.t_sz_ext from file:/home/hadoop/ext.txt
INFO  : Table shizhan03.t_sz_ext stats: [numFiles=0, totalSize=0]
No rows affected (0.807 seconds)

/home/hadoop/ext.txt的内容如下：

1       zhangsan
2       lisi
3       wangwu
4       zhaoliu
5       zhouqi

查看数据

0: jdbc:hive2://localhost:10000> select * from t_sz_ext;
+--------------+----------------+--+
| t_sz_ext.id  | t_sz_ext.name  |
+--------------+----------------+--+
| 1            | zhangsan       |
| 2            | lisi           |
| 3            | wangwu         |
| 4            | zhaoliu        |
| 5            | zhouqi         |
+--------------+----------------+--+
5 rows selected (0.724 seconds)
  • 外部表和内部表的区别：
    • 外部表删除掉表之后，上传到hdfs的数据还存在
    • 内部表删除掉表之后，上传到hdfs的数据也同时

查看hdfs的数据：使用dfs命令

0: jdbc:hive2://localhost:10000> dfs -ls /class03;
+--------------------------------------------------------------------------------+--+
|                                   DFS Output                                   |
+--------------------------------------------------------------------------------+--+
| Found 1 items                                                                  |
| -rwxr-xr-x   3 hadoop supergroup         46 2018-09-04 13:46 /class03/ext.txt  |
+--------------------------------------------------------------------------------+--+
2 rows selected (0.025 seconds)

查看内部表数据：

0: jdbc:hive2://localhost:10000> dfs -ls /user/hive/warehouse/shizhan03.db/t_sz01;
+-----------------------------------------------------------------------------------------------------------------+--+
|                                                   DFS Output                                                    |
+-----------------------------------------------------------------------------------------------------------------+--+
| Found 1 items                                                                                                   |
| -rw-r--r--   3 hadoop supergroup         46 2018-09-04 10:20 /user/hive/warehouse/shizhan03.db/t_sz01/data.txt  |
+-----------------------------------------------------------------------------------------------------------------+--+

创建分区表：

create table t_sz_part(id int,name string)
partitioned by (country string)
row format delimited
fields terminated by ',';

导入数据：

load data local inpath '/home/hadoop/data.txt' into table t_sz_part partition(country='China');
load data local inpath '/home/hadoop/data.txt.Japan' into table t_sz_part partition(country='Japan');
0: jdbc:hive2://localhost:10000> load data local inpath '/home/hadoop/data.txt' into table t_sz_part partition(country='China');
INFO  : Loading data to table shizhan03.t_sz_part partition (country=China) from file:/home/hadoop/data.txt
INFO  : Partition shizhan03.t_sz_part{country=China} stats: [numFiles=1, numRows=0, totalSize=46, rawDataSize=0]
No rows affected (1.548 seconds)

注意：
* 分区在hdfs里面就是在当前表下面创建了一个目录，这里目录的名字为：country=China,country为建表时指定的分区字段，China为导入数据时指定的分区名
* 每导入一个分区数据，hdfs就会多创建一个分区对应的目录

查看分区表数据：

0: jdbc:hive2://localhost:10000> select * from t_sz_part;
+---------------+-----------------+--------------------+--+
| t_sz_part.id  | t_sz_part.name  | t_sz_part.country  |
+---------------+-----------------+--------------------+--+
| 1             | zhangsan        | China              |
| 2             | lisi            | China              |
| 3             | wangwu          | China              |
| 4             | zhaoliu         | China              |
| 5             | zhouqi          | China              |
| 1             | anbei           | Japan              |
| 2             | xiaoquan        | Japan              |
| 3             | xiaoze          | Japan              |
| 4             | jingkong        | Japan              |
| 5             | songxia         | Japan              |
+---------------+-----------------+--------------------+--+
10 rows selected (0.25 seconds)

查看指定分区数据

0: jdbc:hive2://localhost:10000> select * from t_sz_part where country = 'China';
+---------------+-----------------+--------------------+--+
| t_sz_part.id  | t_sz_part.name  | t_sz_part.country  |
+---------------+-----------------+--------------------+--+
| 1             | zhangsan        | China              |
| 2             | lisi            | China              |
| 3             | wangwu          | China              |
| 4             | zhaoliu         | China              |
| 5             | zhouqi          | China              |
+---------------+-----------------+--------------------+--+
5 rows selected (0.435 seconds)

分组查询：

select count(1) from t_sz_part where country = 'China' group by (name='zhangsan');

0: jdbc:hive2://localhost:10000> select count(1) from t_sz_part where country = 'China' group by (name='zhangsan');
INFO  : Number of reduce tasks not specified. Estimated from input data size: 1
INFO  : In order to change the average load for a reducer (in bytes):
INFO  :   set hive.exec.reducers.bytes.per.reducer=<number>
INFO  : In order to limit the maximum number of reducers:
INFO  :   set hive.exec.reducers.max=<number>
INFO  : In order to set a constant number of reducers:
INFO  :   set mapreduce.job.reduces=<number>
INFO  : number of splits:1
INFO  : Submitting tokens for job: job_local1969129417_0001
INFO  : The url to track the job: http://localhost:8080/
INFO  : Job running in-process (local Hadoop)
INFO  : 2018-09-05 20:13:21,371 Stage-1 map = 100%,  reduce = 100%
INFO  : Ended Job = job_local1969129417_0001
+------+--+
| _c0  |
+------+--+
| 4    |
| 1    |
+------+--+
2 rows selected (2.411 seconds)

修改/增加分区：

alter table table_name add[if not exists] partition_spec [localtion 'localtion1']
partition_spec [localtion 'localtion2']...
partition_spec:
:partition (partition_col=partition_col_value,partition_col=partition_col_value,...)

alter table table_name drop partition_spec,partition_spec,...

示例：

0: jdbc:hive2://localhost:10000> alter table t_sz_part add partition (country='American');

查看分区：

0: jdbc:hive2://localhost:10000> show partitions t_sz_part;
+-------------------+--+
|     partition     |
+-------------------+--+
| country=American  |
| country=China     |
| country=Japan     |
+-------------------+--+
3 rows selected (0.175 seconds)
奋斗的小乌龟
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hive 基本使用--最常用的入门语句、Hive常用交互命令、hive其他命令操作
Jalen big data analysis的博客
11-29 639
一、Hive 基本使用--最常用的入门语句 ①启动外置 MySQL 版本hive [hdp@hdp02 ~]$ service mysql start #确保mysql服务开启 Starting MySQL SUCCESS! [hdp@hdp02 ~]$ jps #确保集群开启 ... [hdp@hdp02 ~]$ hive #使用hive的cli命令窗口连接 hive&g...
Hive 基本操作命令
Be yourself.
04-08 5953
前言 前面两章, 我们介绍了如何安装Hive和如何远程链接Hive. 本章, 我们介绍下Hive的基本文件结构和操作. 基础知识 Hive的所有数据都存储在HDFS上, 没有专门的数据存储格式(支持 Text、SequenceFile、ParquetFile、RCFILE等) (Text与SequenceFile为Hadoop自带的文件格式, ParquetFile与RCFILE为两个不同的公...
Hive中sql的使用
成都往右的博客
10-22 1770
如果学过mysql或者oracle等数据库那么hive的sql肯定不会有问题，只有比较小的出入。
HIVE的常用优化方式
Autumn_tears的博客
08-20 323
1.开启map输出阶段压缩可以减少job中map和Reduce task间数据传输量 开启hive中间传输数据压缩功能 set hive.exec.compress.intermediate=true; 开启mapreduce中map输出压缩功能 set mapreduce.map.output.compress=true; 设置mapreduce中map输出数据的压缩方式 set mapreduce.map.output.compress.codec=org.apache.hadoop.io.
Hive入门与实战 PDF
04-22
Hive入门与实战 PDF
hive入门级详解
12-04
Hive 入门级详解 Hive 是一个基于 Hadoop 的数据仓库系统，它提供了一个类似于关系型数据库的查询语言 HQL，并且可以将查询转换为 MapReduce 任务来执行。Hive 的存储结构主要包括三个层面：数据存储层、计算资源层...
hive入门文档笔记
06-19
hive入门文档笔记，安装配置。创建删除表，加载数据。
HIVE从入门到精通.pdf
01-17
Hive从入门到精通，适合想学hive的小白看
Hive入门与实战
08-08
Hive入门与实战
Hive Unknown rows affected
炼数成器
09-05 1933
Hive Unknown rows affected
Hive专题十---Hive的企业级优化
qq_824203453_的博客
06-13 436
版权声明：本文为博主原创文章，转载请注明出处。 交流QQ: 824203453 欢迎关注B站，收看更多视频内容：https://space.bilibili.com/383891492 企业级调优 Fetch抓取 Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT * FROM employees;在这种情况下，Hiv...
Hive on Spark参数调优小结
LittleMagic's Blog
02-27 2790
前言 Hive on Spark是指使用Spark替代传统MapReduce作为Hive的执行引擎，在HIVE-7292提出。Hive on Spark的效率比on MR要高不少，但是也需要合理调整参数才能最大化性能，本文简单列举一些调优项。为了符合实际情况，Spark也采用on YARN部署方式来说明。 Executor参数 spark.executor.cores...
hive查询优化总结
热门推荐
竹叶青 的专栏
07-02 1万+
一、join优化 Join查找操作的基本原则：应该将条目少的表/子查询放在 Join 操作符的左边。原因是在 Join 操作的 Reduce 阶段，位于 Join 操作符左边的表的内容会被加载进内存，将条目少的表放在左边，可以有效减少发生内存溢出错误的几率。 Join查找操作中如果存在多个join，且所有参与join的表中其参与join的key都相同，则会将所有的join合并到一个mapred
Hive 外部表 内部表 分区表
做一个好人
08-28 289
1.先启动集群，在开启hive服务 start-all.sh nohup  hiveserver2(后台运行，可以重定向输出到制定文件） 2.使用beeline连接数据库 注意！ 3.创建内部表 create table t_inside(ip string,url string,time string)row format delimited fields terminate...
hive的一些优化
fa124607857的博客
02-24 236
Hive的优化 优化有很多种方法 比如: join sql 数据倾斜 数据压缩方式和存储格式 表的优化: Join: 1）小表Join大表， 将key相对分散，并且数据量小的表放在join的左边，这样可以有效减少内存溢出错误发生的几率；再进一步，可以使用Group让小的维度表（1000条以下的记录条数）先进内存。在map端完成reduce。 selectcount(distinct...
Hive学习之路 （七）Hive的DDL操作
weixin_33860528的博客
04-07 159
库操作 1、创建库 语法结构 CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name 　　[COMMENT database_comment]　　　　　　//关于数据块的描述 　　[LOCATION hdfs_path]　　　　　　　　　　//指定数据库在HDFS上的存储位置 　　[WITH DBPROPERTIES (pr...
HIVE_第二讲_Hive 采用MySQL 作为元数据库
迎难而上
05-15 4461
上一篇我们讲解了如何搭建 Hive 数据库，但是 hive 使用derby 数据库存在 不支持多个连接的问题。所以需要我们 需要借用外部的元数据库，这里我们采用mysql第一步. 修改配置文件主要修改 conf 中的 hive-site.xml    , hive-env.sh hive-site.xml &lt;?xml version="1.0" encoding="UTF-8" standa...
大数据技术之hive学习文档
最新发布
06-29
包括hive基本概念,hive的安装,hive的数据类型,ddl数据定义,查询,函数,压缩和存储,企业级优化,实战项目,及常见错误及解决方案等, 适合新手入门,期末复习等.

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值