Hive语法

最新推荐文章于 2024-07-12 11:47:52 发布
最新推荐文章于 2024-07-12 11:47:52 发布
阅读量110 收藏
点赞数
分类专栏： 大数据 文章标签： hive 分区表 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42911918/article/details/113447507
版权

Hive

DDL

官网：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL

创建表

DELIMITED

DELIMITED [FIELDS TERMINATED BY char [ESCAPED BY char]] [COLLECTION ITEMS TERMINATED BY char]
        [MAP KEYS TERMINATED BY char] [LINES TERMINATED BY char]
        [NULL DEFINED AS char] 

create table psn
(
id int,
name string,
hobby array<string>,
address map<string, string>
)
row format delimited
fields terminated by ','
collection items terminated by '-'
map keys terminated by ':'
;

SERDE

SERDE serde_name [WITH SERDEPROPERTIES (property_name=property_value, property_name=property_value, ...)]

CREATE TABLE logtbl (
host STRING,
identity STRING,
t_user STRING,
time STRING,
request STRING,
referer STRING,
agent STRING)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.RegexSerDe'
WITH SERDEPROPERTIES (
"input.regex" = "([^ ]*) ([^ ]*) ([^ ]*) \\[(.*)\\] \"(.*)\" (-|[0-9]*) (-|[0-9]*)"
)
STORED AS TEXTFILE;

192.168.57.4 - - [29/Feb/2016:18:14:35 +0800] "GET /bg-upper.png HTTP/1.1" 304 -
192.168.57.4 - - [29/Feb/2016:18:14:35 +0800] "GET /bg-nav.png HTTP/1.1" 304 -
192.168.57.4 - - [29/Feb/2016:18:14:35 +0800] "GET /asf-logo.png HTTP/1.1" 304 -
192.168.57.4 - - [29/Feb/2016:18:14:35 +0800] "GET /bg-button.png HTTP/1.1" 304 -
192.168.57.4 - - [29/Feb/2016:18:14:35 +0800] "GET /bg-middle.png HTTP/1.1" 304 -
192.168.57.4 - - [29/Feb/2016:18:14:36 +0800] "GET / HTTP/1.1" 200 11217
192.168.57.4 - - [29/Feb/2016:18:14:36 +0800] "GET / HTTP/1.1" 200 11217
192.168.57.4 - - [29/Feb/2016:18:14:36 +0800] "GET /tomcat.css HTTP/1.1" 304 -
192.168.57.4 - - [29/Feb/2016:18:14:36 +0800] "GET /tomcat.png HTTP/1.1" 304 -
192.168.57.4 - - [29/Feb/2016:18:14:36 +0800] "GET /asf-logo.png HTTP/1.1" 304 -
192.168.57.4 - - [29/Feb/2016:18:14:36 +0800] "GET /bg-middle.png HTTP/1.1" 304 -
192.168.57.4 - - [29/Feb/2016:18:14:36 +0800] "GET /bg-button.png HTTP/1.1" 304 -
192.168.57.4 - - [29/Feb/2016:18:14:36 +0800] "GET /bg-nav.png HTTP/1.1" 304 -
192.168.57.4 - - [29/Feb/2016:18:14:36 +0800] "GET /bg-upper.png HTTP/1.1" 304 -
192.168.57.4 - - [29/Feb/2016:18:14:36 +0800] "GET / HTTP/1.1" 200 11217
192.168.57.4 - - [29/Feb/2016:18:14:36 +0800] "GET /tomcat.css HTTP/1.1" 304 -
192.168.57.4 - - [29/Feb/2016:18:14:36 +0800] "GET /tomcat.png HTTP/1.1" 304 -
192.168.57.4 - - [29/Feb/2016:18:14:36 +0800] "GET / HTTP/1.1" 200 11217
192.168.57.4 - - [29/Feb/2016:18:14:36 +0800] "GET /tomcat.css HTTP/1.1" 304 -
192.168.57.4 - - [29/Feb/2016:18:14:36 +0800] "GET /tomcat.png HTTP/1.1" 304 -
192.168.57.4 - - [29/Feb/2016:18:14:36 +0800] "GET /bg-button.png HTTP/1.1" 304 -
192.168.57.4 - - [29/Feb/2016:18:14:36 +0800] "GET /bg-upper.png HTTP/1.1" 304 -

LOAD DATA LOCAL INPATH '/home/hdfs/logtbl' INTO TABLE logtbl;

创建分区表

PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)

col_name 不能与字段名重复

create table psn2
(
id int,
name string,
hobby array<string>,
address map<string, string>
)
partitioned by (age int)
row format delimited
fields terminated by ','
collection items terminated by '-'
map keys terminated by ':'
;

创建多分区表

create table psn4
(
id int,
name string,
hobby array<string>,
address map<string, string>
)
partitioned by (age int, sex string)
row format delimited
fields terminated by ','
collection items terminated by '-'
map keys terminated by ':'
;

修改分区

ALTER TABLE table_name ADD [IF NOT EXISTS] PARTITION partition_spec
partition_spec:
  : (partition_column = partition_col_value, partition_column = partition_col_value, ...)

ALTER TABLE psn4 ADD PARTITION (age=30, sex='girl');

删除分区

ALTER TABLE table_name DROP [IF EXISTS] PARTITION partition_spec[, PARTITION partition_spec, ...]

ALTER TABLE psn4 DROP PARTITION (age=30, sex='girl');

创建外部表

创建路径 /usr，并上传文件

hdfs dfs -mkdir /usr
hdfs dfs -put data1

外部表是 现有 hdfs 文件，根据文件创建的表

create external table psn3
(
id int,
name string,
hobby array<string>,
address map<string, string>
)
row format delimited
fields terminated by ','
collection items terminated by '-'
map keys terminated by ':'
location '/usr'
;

创建外分区表

create external table psn6
(
id int,
name string,
hobby array<string>,
address map<string, string>
)
partitioned by (age int, sex string)
row format delimited
fields terminated by ','
collection items terminated by '-'
map keys terminated by ':'
location '/usr'
;

恢复分区

创建外分区表后数据没有关联，需要恢复元数据信息

MSCK [REPAIR] TABLE table_name [ADD/DROP/SYNC PARTITIONS];

MSCK REPAIR TABLE psn6;

DML

官网：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DML

导入数据

1,小明1,lol-book-movie,beijing:shangxuetang-shanghai:pudong
2,小明2,lol-book-movie,beijing:shangxuetang-shanghai:pudong
3,小明3,lol-book-movie,beijing:shangxuetang-shanghai:pudong
4,小明4,lol-book-movie,beijing:shangxuetang-shanghai:pudong
5,小明5,lol-movie,beijing:shangxuetang-shanghai:pudong
6,小明6,lol-book-movie,beijing:shangxuetang-shanghai:pudong
7,小明7,lol-book,beijing:shangxuetang-shanghai:pudong
8,小明8,lol-book,beijing:shangxuetang-shanghai:pudong
9,小明9,lol-book-movie,beijing:shangxuetang-shanghai:pudong

hive 执行

LOAD DATA LOCAL INPATH '/home/hdfs/data1' INTO TABLE psn;

导入数据 分区（partition）

LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)]

partcol1、partcol2 必须已经存在

LOAD DATA LOCAL INPATH '/home/hdfs/data1' INTO TABLE psn2 partition (age=10);

导入数据 多分区（partition）

要录入所有分区内容

LOAD DATA LOCAL INPATH '/home/hdfs/data1' INTO TABLE psn4 partition (age=10, sex='man');

查询

select * from psn;

OK
1       小明1   ["lol","book","movie"]  {"beijing":"shangxuetang","shanghai":"pudong"}
2       小明2   ["lol","book","movie"]  {"beijing":"shangxuetang","shanghai":"pudong"}
3       小明3   ["lol","book","movie"]  {"beijing":"shangxuetang","shanghai":"pudong"}
4       小明4   ["lol","book","movie"]  {"beijing":"shangxuetang","shanghai":"pudong"}
5       小明5   ["lol","movie"] {"beijing":"shangxuetang","shanghai":"pudong"}
6       小明6   ["lol","book","movie"]  {"beijing":"shangxuetang","shanghai":"pudong"}
7       小明7   ["lol","book"]  {"beijing":"shangxuetang","shanghai":"pudong"}
8       小明8   ["lol","book"]  {"beijing":"shangxuetang","shanghai":"pudong"}
9       小明9   ["lol","book","movie"]  {"beijing":"shangxuetang","shanghai":"pudong"}
Time taken: 0.28 seconds, Fetched: 9 row(s)

删除表

drop table psn;
drop table psn3;
  • 内部表删除，会 连同 hdfs 文件一起删除；
  • 外部表删除，不会删除 hdfs 文件。
keys_7
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hive序列生成,如何生成HIVE中的日期系列？ （创建表）
weixin_36041939的博客
12-20 701
Suppose I currently have a table that has 1 row for each account and the data in the tables are:Account NumberStart DateEnd DateNow I'd like to create a new table that has 1 row for each day the accou...
hive语法
weixin_44870066的博客
06-04 3023
hive常用的语法
hive语法全解
qq_42994177的博客
06-02 3220
目录 ddl: data define lauguage 库操作： 表操作： 建表说明： 创建表： 查看表列表 查看建表语句 查看表的详细信息 查看hive函数列表 修改表 清空表 删除表 dml: 数据插入： 1）load的方式进行数据加载 2）insert方式 例子： 3）分区表的数据插入 4）分桶表的数据插入： 5）数据导出 查询： 1...
Hive语法总结
qq_43712538的博客
02-08 3371
如何编写复杂sql 推荐此下网址: https://cloud.tencent.com/developer/article/1033405 https://blog.csdn.net/zpn78163com/article/details/51450665 https://blog.csdn.net/u014132947/article/details/80530371 https://zhuanlan.zhihu.com/p/47528345 https://www.cnblogs.com/wucong
Hive语法详解
虾哔哔的博客
11-22 2799
先看看Hive的官方介绍：Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上，总归为大数据，并使得查询和分析方便。并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。废话不多说，下面从DDL,DML,DQL三种操作来介绍Hive语法规则。1.DDL 操作1.1建表操作 直接上语法规则CREATE [EXTERNAL] TABLE
SparkSQL与Hive语法差异
dreamBoat的博客
05-09 5478
一、相同函数差异 二、仅Hive支持 三、仅Spark支持 四、Parquet表格式相关 五、备注 一、相同函数差异 1.Spark运行时用到的hash函数，与Hive的哈希算法不同，如果使用hash()，结果和Hive的hash()会有差异 解决方案：SparkSQL中将hash()修改为兼容Hive的函数hive_hash() 2.Hive和SparkSQL使用grouping sets生成的GROUPING_ID不一致 示例： Hive: Spark： 正在...
Presto和Hive语法对比
07-08 2013
工作中经常遇到些时间转换问题： 1) log_date:20200110 需要转换为标准日期，或者与时间戳数据进行比较 2) 工作环境涉及到presto与hive, 利用presto检查查询时速度更快，因此一般需要同时用presto和hive的语法对日期进行转换 下面对最近用到的时间转换进行梳理 问题1：时间格式转换（时间格式化） 例子: 当前时间20200110 转化为2020-01-10 --输出 2020-01-10 --hive select to_date
Oracle与Hive语法对比
热门推荐
Sunshine_Bloom的博客
11-28 1万+
在将oracle语法逻辑迁移到hive或者将hive语法逻辑迁移到oracle时,我们会面临语法不互通的问题,此时就需要了解语法逻辑进行转换加工之后才能以另外一种语法的逻辑实现. Oracle与Hive区别 oracle是数据库,而hive是数据仓库,二者最大的区别就在于存储和计算.oracle数据库是支持存储计算功能的,Hive是基于hadoop的数据仓库工具,hive本身没有存储和计算能力,完...
SparkSQL和Hive语法差异
中长跑路上的crush
01-15 1273
rand()nullvoidCTAS建表。
Hive语法中with as的使用
weixin_46429290的博客
02-16 5120
Hive语法中with as的使用一、with as是什么？二、with as怎么用？三、with as测试三、with as总结 一、with as是什么？ 如果有一个需求，或者一堆需求，而这一堆需求中频繁的都要使用一个数据集，但是这个数据集在原始数据集中没有，可以通过一些操作在原始数据集中得到，那么该怎么办？ 这个时候最基础的想法，写一个程序，把频繁使用到的中间数据得到，然后从中间数据中进行处理分析，这个思维方式其实就是with as语法的使用逻辑。 如果对于一个逻辑的处理，大量的需求都使用到了一个中间
HIVE语法.docx
05-03
hive语法
hive语法总结
01-05
Hive 语法总结 Hive 语法总结是一种基于 Hadoop 的数据仓库工具，它提供了类似 SQL 的查询语言，用于处理和分析大规模数据。下面是 Hive 语法总结的知识点： 1. SELECT 语句 Hive 的 SELECT 语句结构如下： ...
hive语法和常用函数[归纳].pdf
10-11
"Hive语法和常用函数" Hive是基于Hadoop分布式系统上的数据仓库，最早是由Facebook公司开发的，Hive极大的推进了Hadoop ecosystem在数据仓库方面上的发展。Facebook的分析人员中很多工程师比较擅长SQL而不善于开发...
Hive语法详解.docx (排版清晰,覆盖全面,含目录)
08-27
说明:重新排版的个人版Hive语法(一文在手,hql无忧) Hive语法详解: 内容分9个章节 包括安装及配置; DDL,DML,DQL语法; Hive内置函数及自定义函数; Hive窗口函数及行列转换; Hive注意事项及常见优化; ...
Hive/Spark窗口函数
初阳
07-09 799
结果中，对于每一行的last_value的结果都是当前值，并不分区中按salary升序的最后一个值。前面在提到last_value时，特意强调了该函数的结果并不是分区中的最后一个值，结合上述介绍的window specification再来看下该函数的结果值。注意，默认情况下last_value取的是第一行截止到当前行的最后一个值(当前行的值)，并不是整个分区中排序后的最后一个值。注意，如果order by的结果相同，则rank得到的结果都相同，在这里的语义是排序结果相同，因此等级编号也相同。
开启HIVE中分区表支持中文字段
2301_77836489的博客
07-10 332
开启HIVE中分区表支持中文字段
升级springboot3.2集成shiro的问题
月色无痕的专栏
07-10 257
升级到最新版的springboot3.2，shiro无效
数据湖仓一体(四)安装hive
最新发布
知行合一
07-12 194
安装hive
hive语法TBLPROPERTIES
08-12
Hive中的TBLPROPERTIES是用于设置表的属性的语法。它允许用户为表添加一些自定义的键值对属性。通常情况下，这些属性用于描述表的元数据信息。 语法如下： ``` ALTER TABLE table_name SET TBLPROPERTIES (property...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值