Hive
文章平均质量分 57
PZ~浪味仙
野蛮生长~无问西东~
展开
-
Hive的ddl语句--思维导图
Hive的ddl语句–思维导图第一篇博客,来记录一下hive的学习历程,采用思维导图的方式,方便记忆;内容虽然简单,因为会sql的学hive应该不会太难,但是灵活使用对我来说还是有一定难度,特此记录。...原创 2018-10-23 00:49:56 · 469 阅读 · 1 评论 -
hive动态分区实践
一、业务需求:数据从上一个接口传来,入hive库中的相应数据表时,需要根据数据中的某个时间字段值进行分区,分区字段为month_id(年月,如201901),day_id(日,如07),part_id(小时分钟,如1205),并且part_id是每五分钟形成一个分区,如12:04的数据需要入part_id=1205的分区,12:08的数据需要入part_id=1210分区。二、使用hive动态...原创 2019-01-07 18:01:39 · 259 阅读 · 0 评论 -
hive动态分区
最近使用了一下hive的动态分区功能,很实用,在此来总结一下使用的过程。一、hive的分区1. hive的分区 VS 传统关系型数据库分区https://www.cnblogs.com/yongjian/archive/2017/03/29/6640951.htmlHive分区的概念与传统关系型数据库分区不同。传统数据库的分区方式:就oracle而言,分区独立存在于段里,里面存储真...原创 2019-01-07 17:17:56 · 663 阅读 · 0 评论 -
hive函数总结---表生成函数
explode将hive的复杂数据类型拆分成多行。explode (array)select explode(array('A','B','C'));select explode(array('A','B','C')) as col;select tf.* from (select 0) t lateral view explode(array('A','B','C')) tf;sele...转载 2018-10-29 19:36:54 · 519 阅读 · 0 评论 -
HiveQL:查询---SELECT...FROM子句
一、SELECT…FROM…查询语句CREATE TABLE employees( name STRING, salary FLOAT, subordinates ARRAY<STRING>, deductions MAP<STRING,FLOAT>, address STRUCT<street:STRING,city:STRING,sta...翻译 2018-10-23 23:16:16 · 749 阅读 · 0 评论 -
hive编程指南学习笔记-HiveSQL数据操作
HiveQL:数据操作向表中装载数据和从表中抽取数据到文件系统的数据操作语言部分一、向管理表/内部表中装载数据装载语句LOAD DATA LOCAL INPATH '${env:HOME}/california-employees' OVERWRITE INTO TABLE employees PARTITION (country='US',state='CA');数据将会...翻译 2018-10-23 14:28:46 · 553 阅读 · 0 评论 -
hive函数总结---集合统计函数
个数统计函数: count语法: count(), count(expr), count(DISTINCT expr[, expr_.])返回值: int说明: count()统计检索出的行的个数,包括 NULL 值的行;count(expr)返回指定字段的非空值的个数;count(DISTINCT expr[, expr_.])返回指定字段的不同的非空值的个数举例:hive&gt...转载 2018-10-28 14:56:21 · 145 阅读 · 0 评论 -
hive函数总结---字符串函数
字符串长度函数:length语法: length(string A)返回值: int说明:返回字符串A 的长度举例:hive> select length('abcedfg') from lxw_dual;7字符串反转函数:reverse语法: reverse(string A)返回值: string说明:返回字符串A 的反转结果举例:hive> se...转载 2018-10-28 14:48:51 · 176 阅读 · 0 评论 -
hive函数总结---日期函数
UNIX时间戳转日期函数:from_unixtime语法: from_unixtime(bigint unixtime[, string format])返回值: string说明: 转化 UNIX 时间戳(从 1970-01-01 00:00:00 UTC 到指定时间的秒数)到当前时区的时间格式举例:hive> select from_unixtime(1323308943,...转载 2018-10-28 14:33:07 · 177 阅读 · 0 评论 -
hive函数总结---数值计算
取整函数:round语法:round(double a)返回值:BIGINT描述:返回double类型的整数值部分(遵循四舍五入)举例:hive> SELECT round(3.1415926) FROM lxw_dual;3hive> SELECT round(3.5) FROM lxw_dual;4指定精度取整函数:round语法:round(doub...转载 2018-10-28 14:22:29 · 814 阅读 · 0 评论 -
hive函数总结---关系运算
关系运算:等值比较:=语法:A=B操作类型:所有基本类型描述:如果表达式A与表达式B相等,则返回TRUE,否则为FALSE举例:hive> SELECT 1 from lxw_dual WHERE 1=1;1不等值比较:<>语法:A<>B操作类型:所有基本类型描述:如果表达式A为NULL,或者表达式B为NULL,返回NULL;如果表达...转载 2018-10-28 13:25:44 · 187 阅读 · 0 评论 -
HQL中count(*),count(1),count(column)的区别
1、执行计划:count(*)explain select count(*) from dpods_SMS_Queue limit 100;ExplainABSTRACT SYNTAX TREE:(TOK_QUERY (TOK_FROM (TOK_TABREF (TOK_TABNAME dpods_SMS_Queue))) (TOK_INSERT (TOK_DESTINATION (TO...转载 2019-07-05 09:50:30 · 1563 阅读 · 0 评论