![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
文章平均质量分 90
不名一文
飞翔的菜鸟,keep moving
展开
-
oracle、hive分析函数详解
分析函数又名窗口函数,在oracle、hive中使用比较多,包括flink等也会有分析函数什么是分析函数分析函数基于一组数据来计算聚和值,和聚合函数在于对于每一组数据它返回多行记录。这一组数据我们成为窗口,我们可以通过分析子句来进行定义。在每一行数据上可以定义滑动窗口,滑动窗口可以动态的定义使用多少行或者多少范围来进行计算分析函数在一条sql语句中是除了order by外最后执行的操作。语法介绍分...原创 2018-06-11 00:38:30 · 525 阅读 · 0 评论 -
hive简介
1.HIVE基本概念1.1 什么是 HiveHive:由 Facebook 开源用于解决海量结构化日志的数据统计 Hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并 提供类 SQL 查询功能 本质是:将 HQL 转化成 MapReduce 程序Hive 处理的数据存储在 HDFS Hive 分析数据底层的实现是 MapReduce/Spark 执行程序运行在 Yarn 上1.2 Hive 的优缺点1.2.1 优点1) 操作接口采用类 SQ.原创 2020-11-30 18:41:12 · 526 阅读 · 0 评论 -
oralce&Hive join 简介& 谓词下推
在平时写sql时,join语句可能是使用频率最高语句之一。可是,你真的足够了解join语句吗。接下来以oracle和hive为例子,介绍join相关的基础知识1.Oracle1.1连接类型1.1.1nested loop join嵌套循环连接将驱动表(外表)和被驱动表(内表)进行join,读取外表的每一行,和内表进行比较操作,数据库一般将建有索引的表作为内表。适用范围:当数据集较小,访问列上有索引时例子: SQL> select /*+ leading(t1) use_n原创 2018-07-09 00:15:08 · 2705 阅读 · 0 评论 -
hive中udtf编写及使用
HIVE中udtf可以将一行转成一行多列,也可以将一行转成多行多列,使用频率较高。本篇文章通过实际案例剖析udtf的编写及使用方法和原理。阅读本篇文章前请先阅读UDF编写测试数据 drop table if exists test; create table test ( ind int, col string, col1 string ) ; inser...原创 2018-06-24 13:57:12 · 12993 阅读 · 2 评论 -
hive中udf编写
Hive中编写udf(User-defined function)需要继承UDF类或者GenericUDF类,至于UDF和GenericUDF类的区别,我们可以从GenericUDF类注释上找到答案 /** * A Generic User-defined function (GenericUDF) for the use with Hive. * * New Gener...原创 2018-05-23 09:04:05 · 4468 阅读 · 1 评论 -
hive任务优化
hive是基于大数据开发的一组用于数据仓库的api,其主要功能是将HQL(HIVE SQL)转换成mapreduce执行。所以对hive的优化几乎等于对mapreduce的优化,主要在io和数据倾斜方面进行优化。本文主要在一下几个方面进行介绍合并小文件压缩文件join倾斜group by倾斜合并小文件map针对每一个文件产生一个或多个map任务,如果输入小文件过多,则会产生许多map任务处理每个小...原创 2018-06-25 14:24:10 · 1014 阅读 · 0 评论