打怪升级之小白的大数据之旅(六十七)＜Hive旅程第八站:Hive的函数＞

最新推荐文章于 2023-12-05 17:34:22 发布
最新推荐文章于 2023-12-05 17:34:22 发布
阅读量357 收藏 2
点赞数
文章标签： hive java 大数据 数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Li_G_yuan/article/details/117395950
版权
本文介绍了Hive中的系统内置函数、常用内置函数如NVL、CASE、IF、CONCAT、EXPLODE等，以及开窗函数、自定义函数的创建和使用。通过实例演示了如何处理NULL值、数据分类、行转列和列转行等操作，适合提升查询效率和满足复杂业务需求。
摘要由CSDN通过智能技术生成

打怪升级之小白的大数据之旅(六十七)

Hive旅程第八站:Hive的函数

上次回顾

上一章，我们学习了如何对数据进行拆分–分区表与分桶表，使用分区表与分桶表，可以加快我们的查询效率。。本章节是Hive除了查询之外的另外一个重点，我们的工作中，Hive的操作就是查询和函数组合来做的

Hive的函数

系统内置函数

系统内置函数有很多，我们可以使用下面的命令，查看系统自带函数，当我们忘记该函数如何使用，除了度娘和我这个博客外，还可以根据下面的命令进行查看

查看系统自带函数

show functions;

查看自带函数的用法

desc function sum;

详细显示自带函数的用法

desc function extended upper;

在这里插入图片描述

常用内置函数

我就介绍几个我经常会使用的几个函数，别的函数，大家有需求可以根据上面命令或者问问度娘

空字段赋值 NVL

当我们需要查询的数据有NULL空字段时，我们可以使用nvl函数为空字段进行赋值

语法格式：

/*
它的功能是如果value为NULL，
则NVL函数返回default_value的值，
否则返回value的值，如果两个参数都为NULL ，则返回NULL
*/
NVL( value，default_value)

下面通过示例来演示一下nvl 的用法

  • 我们以前面的员工表为测试数据

如果员工的comm为NULL，则用-1代替

select comm,nvl(comm, -1) from emp;

如果员工的comm为NULL，则用领导id代替

select comm, nvl(comm,mgr) from emp;

CASE 语句

CASE 和 JAVA一样 它用于对一个常量进行条件判断

测试数据结构如下：

namedept_idsex
悟空A男
八戒A男
唐僧B男
紫霞A女
嫦娥B女
观音B女

需求：求出不同部门的男女各多少人

测试数据：

vim /opt/module/hive/dbdata/test/emp_sex.txt
悟空    A   男
八戒    A   男
唐僧    B   男
紫霞    A   女
嫦娥    B   女
观音    B   女

创建表

-- 创建表
create table emp_sex(
name string, 
dept_id string, 
sex string) 
row format delimited fields terminated by "\t";

导入数据

load data local inpath '/opt/module/hive/dbdata/test/emp_sex.txt' into table emp_sex;

使用CASE按照需求查询数据

select 
  dept_id,
  sum(case sex when '男' then 1 else 0 end) man_count,
  sum(case sex when '女' then 1 else 0 end) woman_count
from 
  emp_sex
group by dept_id;

在这里插入图片描述

if 函数

和java一样，可以使用case完成的语句，就可以使用if来完成，那么我们直接使用if来完成上面的需求

select
    dept_id,
    sum(if(sex='男',1,0)) man_count,
    sum(if(sex='女',1,0)) woman_count 
from emp_sex 
group by dept_id;

行转列 CONCAT

行转列就是将一行一行的数据拼接后，生成为一列数据

行转列函数

CONCAT 普通连接

  • 返回输入字符串连接后的结果，支持任意个输入字符串;
CONCAT(string A/col, string B/col…)

-- 连接 hello world 两个单词
select concat("hello","world");

/*
结果：
helloworld
*/

CONCAT_WS 指定分隔符连接

  • 是特殊的CONCAT，它可以指定分隔符

  • 第一个参数是剩余参数间的分隔符，分隔符可以是与剩余参数一样的字符串

  • 如果分隔符是 NULL，返回值也将为 NULL

  • 这个函数会跳过分隔符参数后的任何 NULL 和空字符串

  • 分隔符将被加到被连接的字符串之间

  • CONCAT_WS must be “string or array”

    CONCAT_WS(separator, str1, str2,...)
-- 使用 | 连接 hello world 两个单词
select concat("|", hello","world");
/*
结果：
hello|world
*/

COLLECT_SET 去重连接

  • 函数只接受基本数据类型，它的主要作用是将某字段的值进行去重汇总，产生array类型字段
  • collect_set和collect_list的案例我会在下面演示，简单demo无法实现

COLLECT_LIST 不去重连接

  • 函数只接受基本数据类型，它的主要作用是将某字段的值进行不去重汇总，产生array类型字段
行转列案例

数据结构如下：

nameconstellationblood_type
张三白羊座A
李四射手座A
王五白羊座B
赵六白羊座A
孙七射手座A
周八白羊座B

需求：将星座和血型相同的人归类到一起，最终数据如下

射手座,A	李四|孙七
白羊座,A	张三|赵六
白羊座,B	王五|周八

测试数据

# 创建数据文件
vim /opt/module/hive/dbdata/constellation/constellation.txt
# 数据内容
张三    白羊座  A
李四    射手座  A
王五    白羊座  B
赵六    白羊座  A
孙七    射手座  A
周八    白羊座  B

创建表

create table person_info(
name string, 
constellation string, 
blood_type string) 
row format delimited fields terminated by "\t";

加载数据

load data local inpath "/opt/module/hive/dbdata/constellation/constellation.txt" into table person_info;

查询星座和血型相同的人，并归类到一起

SELECT t1.c_b , CONCAT_WS("|",collect_set(t1.name))
FROM (
SELECT NAME ,CONCAT_WS(',',constellation,blood_type) c_b
FROM person_info
)t1 
GROUP BY t1.c_b;

在这里插入图片描述

列转行 EXPLODE

列转行就是将一列数据转为一行一行的数据，我们通常对列转行操作叫做炸开

列转行函数

Split(str, separator)

  • 将字符串按照后面的分隔符切割，转换成字符array
select split("hello,world",",");
/*
输出结果：
["hello","world"]
*/

EXPLODE(col)

  • 将hive一列中复杂的array或者map结构拆分成多行
  • 大家看清楚了，这里接收的参数是array或者map结构的数据
select explode(split("hello,world",","));
/*
输出结果
hello
world
*/

LATERAL VIEW

  • ateral view用于和split, explode等UDTF一起使用
  • 它能够将一行数据拆成多行数据，在此基础上可以对拆分后的数据进行聚合
  • 我们通常称它为侧写表
  • lateral view首先为原始表的每行调用UDTF，UTDF会把一行拆分成一或者多行，lateral view再把结果组合，产生一个支持别名表的虚拟表，具体演示请看下面的案例
列转行案例

数据结构

moviecategory
《疑犯追踪》悬疑,动作,科幻,剧情
《Lie to me》悬疑,警匪,动作,心理,剧情
《战狼2战争,动作,灾难

需求：将电影分类进行拆分展示，效果如下

《疑犯追踪》      	悬疑
《疑犯追踪》      	动作
《疑犯追踪》      	科幻
《疑犯追踪》			剧情
《Lie to me》		悬疑
《Lie to me》   	警匪
《Lie to me》   	动作
《Lie to me》   	心理
《Lie to me》   	剧情
《战狼2》        	战争
《战狼2》        	动作
《战狼2》        	灾难```

测试数据：

```sql
# 创建数据文件
vim /opt/module/hive/dbdata/movie/movie.txt
# 数据如下
《疑犯追踪》	悬疑,动作,科幻,剧情
《Lie to me》	悬疑,警匪,动作,心理,剧情
《战狼2》	战争,动作,灾难

创建表


create table movie_info(
    movie string, 
    category string) 
row format delimited fields terminated by "\t";

加载数据

load data local inpath "/opt/module/hive/dbdata/movie/movie.txt" into table movie_info;

使用列转行将电影分类进行拆分

SELECT movie,category_name 
FROM movie_info 
lateral VIEW
explode(split(category,",")) movie_info_tmp  AS category_name;

在这里插入图片描述

开窗函数(窗口函数) OVER

开窗函数算是函数中的一个重点，它可以完成使一些复杂的逻辑变得很简单，后面我会通过案例来说明

相关函数

核心的函数：OVER()

  • over()函数内部的参数
    • CURRENT ROW：当前行
    • n PRECEDING：往前n行数据
    • n FOLLOWING：往后n行数据
    • UNBOUNDED：无边界
      • UNBOUNDED PRECEDING 前无边界，表示从前面的起点，
      • UNBOUNDED FOLLOWING后无边界，表示到后面的终点
        其他函数（over()函数的左边）
  • LAG(col,n,default_val)：往前第n行数据
  • LEAD(col,n, default_val)：往后第n行数据
  • FIRST_VALUE (col,true/false)：当前窗口下的第一个值，第二个参数为true，跳过空值
  • LAST_VALUE (col,true/false)：当前窗口下的最后一个值，第二个参数为true，跳过空值
  • NTILE(n)：把有序窗口的行分发到指定数据的组中，各个组有编号，编号从1开始，对于每一行，NTILE返回此行所属的组的编号。注意：n必须为int类型
开窗函数案例

数据结构

nameorderdatecost
张三2021-01-0110
李四2021-01-0215
张三2021-02-0323
李四2021-01-0429
张三2021-01-0546
张三2021-04-0642
李四2021-01-0750
张三2021-01-0855
王五2021-04-0862
王五2021-04-0968
赵六2021-05-1012
王五2021-04-1175
赵六2021-06-1280
王五2021-04-1394

需求：

  • 查询在2021年4月份购买过商品的顾客及总人数
  • 查询顾客的购买明细及月购买总额
  • 上述的场景, 将每个顾客的cost按照日期进行累加
  • 查询顾客购买明细以及上次的购买时间和下次购买时间
  • 查询顾客每个月第一次的购买时间 和 每个月的最后一次购买时间
  • 查询前20%时间的订单信息

测试数据：

# 创建数据文件
vim /opt/module/hive/dbdata/order/business.txt
# 数据如下
张三    2021-01-01  10
李四    2021-01-02  15
张三    2021-02-03  23
李四    2021-01-04  29
张三    2021-01-05  46
张三    2021-04-06  42
李四    2021-01-07  50
张三    2021-01-08  55
王五    2021-04-08  62
王五    2021-04-09  68
赵六    2021-05-10  12
王五    2021-04-11  75
赵六    2021-06-12  80
王五    2021-04-13  94

创建表

create table business(
name string, 
orderdate string,
cost int
) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';

加载数据

load data local inpath "/opt/module/hive/dbdata/order/business.txt" into table business;

查询在2021年4月份购买过商品的顾客及总人数

select 
	name,
	count(*) over()
from business
where month(orderdate)=4
group by name ;

查询顾客的购买明细及月购买总额

select
	name,
	orderdate,
	cost,
	sum(cost) over(partition by name,month(orderdate)) name_month_cost
from business;

将每个顾客的cost按照日期进行累加

select 
	name,
	orderdate,
	cost,
	sum(cost) over(partition by name order by orderdate )
from business;

在这里插入图片描述

查询顾客购买明细以及上次的购买时间和下次购买时间

select 
	name,orderdate,cost,
	lag(orderdate,1,'1970-01-01') over(PARTITION by name order by orderdate) prev_time,
	lead(orderdate,1,'1970-01-01') over(PARTITION by name order by orderdate) next_time
from business;

查询顾客每个月第一次的购买时间 和 每个月的最后一次购买时间

select
	name,
	orderdate,
	cost,
	FIRST_VALUE(orderdate) over(partition by name,month(orderdate) order by orderdate rows between UNBOUNDED PRECEDING and UNBOUNDED FOLLOWING) first_time,
	LAST_VALUE(orderdate) over(partition by name,month(orderdate) order by orderdate rows between UNBOUNDED PRECEDING and UNBOUNDED FOLLOWING) last_time
from business;

查询前20%时间的订单信息

select * from (
    select name,orderdate,cost, ntile(5) over(order by orderdate) sorted
    from business
) t
where sorted = 1;

排序 Rank

Rank排序与order by 最大的不同就在于它只能配合over()开窗函数使用

函数说明

rank()

  • 排序相同时会重复(考虑并列,会跳号)，总数不会变
  • rank就相当于我们学校考试时，有两个第一名(分数相同)，那么下一个排名就是第三名，没有第二名

dense_rank()

  • 排序相同时会重复(考虑并列,不跳号)，总数会减少
  • 同样以上述举例，分数相同，依旧有两个第一名，但是下一个学生为第二名

ow_number()

  • 会根据顺序计算(不考虑并列,不跳号,行号)
  • 没有并列第一这一说，可能会根据某个条件，将分数相同的人排为第一、第二名

为了更形象地说明这几个排序，我就按照学校考试成绩来举例

数据结构

namesubjectscore
悟空语文87
悟空数学95
悟空英语68
八戒语文94
八戒数学56
八戒英语84
沙僧语文64
沙僧数学86
沙僧英语84
紫霞语文65
紫霞数学85
紫霞英语78

需求：根据每门学科进行成绩排名

测试数据

# 创建测试数据文件
vim /opt/module/hive/dbdata/score/score.txt
# 数据如下
悟空    语文    87
悟空    数学    95
悟空    英语    68
八戒    语文    94
八戒    数学    56
八戒    英语    84
沙僧    语文    64
沙僧    数学    86
沙僧    英语    84
紫霞    语文    65
紫霞    数学    85
紫霞    英语    78

创建表

create table score(
    name string,
    subject string, 
    score int) 
row format delimited fields terminated by "\t";

加载数据

load data local inpath "/opt/module/hive/dbdata/score/score.txt" into table score;

使用三种排序方式将每科的考试的成绩进行排名

from score;
select name,
	subject,
	score,
rank() over(partition by subject order by score desc) rank_score,
dense_rank() over(partition by subject order by score desc) denser_score,
row_number() over(partition by subject order by score desc) row_score
from score;

在这里插入图片描述

自定义函数

函数分类

  • 看到这里，常用的函数就介绍完毕了，当HQL中内置的函数不能满足我们的需求，Hive还为我们提供了自定义函数的方法，学习如何自定义函数前，我们先总结一下函数的分类
  • 函数分为三大类
    • UDF：一进一出，UDF就类似我们的upper、substr函数
    • UDAF：多进一出，UDAF就是我们通常说的聚合函数，例如sum avg
    • UDTF：一进多出，UDTF就类似我们前面说的炸开函数，它可以将一行数据炸开为多列

自定义UDF函数

  • 我就按照最简单的UDF自定义举例
  • 其他自定义函数具体的实现方法可以参考官网的说明文档：https://cwiki.apache.org/confluence/display/Hive/HivePlugins

编程步骤

  • 继承Hive提供的自定义函数类
    org.apache.hadoop.hive.ql.udf.generic.GenericUDF  
org.apache.hadoop.hive.ql.udf.generic.GenericUDTF;
  • 实现类中抽象方法
  • 将创建好的类打包到服务器的hive lib文件夹下
  • 在hive命令行窗口创建函数
-- 添加jar包
add jar linux_jar_path
-- 创建函数
create [temporary] function [dbname.]function_name AS class_name;
-- 在hive的命令行窗口删除函数
drop [temporary] function [if exists] [dbname.]function_name;

自定义UDF案例

既然需要添加jar包才可以实现自定义函数，那么必然要进行java编码，我定义一个简单的UDF需求：计算给定字符串的长度

select my_len("hello")
-- 结果：5

创建Maven工程

  • 这个就不再演示了，前面写了太多了
    导入依赖
// 在pom.xml文件中添加依赖
<dependencies>
		<dependency>
			<groupId>org.apache.hive</groupId>
			<artifactId>hive-exec</artifactId>
			<version>3.1.2</version>
		</dependency>
</dependencies>

创建并继承自定义函数类，并实现计算方法

package com.company.hive.udf;

import org.apache.hadoop.hive.ql.exec.UDFArgumentException;
import org.apache.hadoop.hive.ql.exec.UDFArgumentLengthException;
import org.apache.hadoop.hive.ql.exec.UDFArgumentTypeException;
import org.apache.hadoop.hive.ql.metadata.HiveException;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDF;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.primitive.PrimitiveObjectInspectorFactory;

/**
 * 自定义UDF函数，需要继承GenericUDF类
 * 需求: 计算指定字符串的长度
 */
public class MyLength extends GenericUDF {
    /**
     * 初始化方法,里面要做三件事
     * 1.约束函数传入参数的个数
     * 2.约束函数传入参数的类型
     * 3.约束函数返回值的类型
     * @param arguments  函数传入参数的类型
     * @return
     * @throws UDFArgumentException
     */
    @Override
    public ObjectInspector initialize(ObjectInspector[] arguments) throws UDFArgumentException {
        //1.约束函数传入参数的个数
        if (arguments.length != 1) {
            throw new UDFArgumentLengthException("Input Args Num Error,You can only input one arg...");
        }
        //2.约束函数传入参数的类型
        if (!arguments[0].getCategory().equals(ObjectInspector.Category.PRIMITIVE)) {
            throw new UDFArgumentTypeException(0,"Input Args Type Error,You can only input PRIMITIVE Type...");
        }
        //3.约束函数返回值的类型
        return PrimitiveObjectInspectorFactory.javaIntObjectInspector;
    }

    /**
     * 函数逻辑处理方法
     * @param arguments  函数传入参数的值
     * @return
     * @throws HiveException
     */
    @Override
    public Object evaluate(DeferredObject[] arguments) throws HiveException {
        //获取函数传入参数的值
        Object o = arguments[0].get();
        //将object转换成字符串
        int length = o.toString().length();
        //因为在上面的初始化方法里面已经对函数返回值类型做了约束,必须返回一个int类型
        //所以我们要在这个地方直接返回length
        return length;
    }

    /**
     * 返回显示字符串方法,这个方法不用管,直接返回一个空字符串
     * @param children
     * @return
     */
    @Override
    public String getDisplayString(String[] children) {
        return "";
    }
}

打包jar并上传到hive的Lib文件夹下(利用xftp/rz等工具上传)，并改一个名字

 mv 
/opt/module/hive/lib/code-1.0-SNAPSHOT.jar /opt/module/hive/lib/my_len.jar

添加jar包t添加到hive中

add jar /opt/module/hive/lib/my_len.jar;

创建临时函数与开发好的java class关联

create temporary function my_len as "com.company.MyLength";

使用自定义的函数查看效果

select my_len("hello");
-- 输出：5

删除临时函数

 drop  temporary function my_len;

注意：

  • 临时函数只是针对当前的hive命令行窗口有用，关闭、退出当前hive界面就失效了
  • 下面为大家介绍如何创建永久函数

创建永久函数

  • 在$HIVE_HOME下面创建mylib目录，(为了便于管理，就不放在lib下了)
  • 将jar包上传到$HIVE_HOME/mylib下，然后重启hive
  • 创建永久函数
 create function my_len2 as "com.company.MyLength";

使用自定义的函数查看效果

select my_len2("hello");
-- 输出：5
  • 即可在hql中使用自定义的永久函数
     drop function my_len2;

注意：

  • 永久函数创建的时候，在函数名之前需要自己加上库名，如果不指定库名的话，会默认把当前库的库名给加上。
  • 永久函数使用的时候，需要在指定的库里面操作,或者在其他库里面使用的话加上 库名.函数名

总结

本章节介绍了一下Hive中的函数以及一些常用的函数，当我们有特殊需求时，可以使用自定义函数来满足我们的业务逻辑，好了，整个Hive的相关使用就到这里，后面几章我为大家介绍一下Hive的优化以及一个综合案例

GaryLea
关注
hive操作（行转列，列转行）
aiduo3346的博客
09-05 4286
一、行转列 1．相关函数说明 CONCAT(stringA/col,stringB/col…)：返回输入字符串连接后的结果，支持任意个输入字符串; CONCAT_WS(separator,str1,str2,...)：它是一个特殊形式的CONCAT()。第一个参数剩余参数间的分隔符。分隔符可以是与剩余参数一样的字符串。如果分隔符是NULL，返回值也将为NULL。这个...
Hive 列转行
weixin_45503873的博客
08-31 8516
Hive 列转行 将某列转为数组返回，可以用collect_ws,collect_list函数，其中collect_ws去重，collect_list不去重。如需要返回字符串，可联合concat_ws函数指定分隔符。 1、对单列转行 列子： 原数据 id fruit 11 apple 11 peach 12 banana 12 banana 转化为（去重） id fruit 11 apple，peach 12 banana 代码： 去重： select id,concat_ws(‘,’,collect_
Hive--行转列/列转行
热门推荐
qq_46893497的博客
11-22 2万+
一、lateral view 分类：视图 功能：配合UDTF来使用,把某一行数据拆分成多行数据 很多的UDTF不能将结果与源表进行关联，使用lateral view ，可以将UDTF拆分的单个字段数据与原始表数据关联上 使用方式： select …… from tabelA lateral view UDTF(xxx) 视图名 as a,b,c 案例： --准备数据:vim /export/datas/lateral.txt 1 http://facebook.com/path/p1.php?q
hive行转列与列转行详解(含一列枚举值拆成多列)
doudoudouy的博客
03-30 3891
1、创建学生成绩表 create table students_course(`SNO` string comment '学生编号',`name` string comment '姓名',`DEPART` string comment '选修课程',`score` int comment '分数'); 2、插入测试数据 insert into students_course values (103,'张三','公司法',30) ...
hivesql 行转列（collect_set）与列转行(explode和posexplode)
zhouqi1991i的博客
06-14 2万+
hivesql 行转列与列转行 列转行函数——collect_set和collect_list hive里通常通过collect_set和collect_list来进行列转行，其中collect_list为不去重转换，collect_set为去重转换。 下面我们将通过一个实例来进行说明： 创建一个学生成绩表 CREATE table student_score( stu_id string com...
打怪升级之小白的大数据之旅--hive测试数据
06-03
总的来说，"打怪升级之小白的大数据之旅--hive测试数据"是一段从零开始的Hive学习旅程，涵盖了数据导入、表设计、SQL查询等多个环节，旨在帮助初学者掌握大数据分析的基本技能，为日后的数据挖掘和业务洞察奠定基础...
大数据实验六实验报告：熟悉Hive的基本操作
06-20
在本实验报告中，我们关注的是大数据处理工具Hive的基础操作，主要涵盖了创建表、导入数据以及使用Hive进行数据管理。Hive是基于Hadoop的数据仓库工具，它允许通过SQL-like查询语言（HQL）对分布式存储的大数据集...
hive高级分析函数与优化.rar_hive_hive 函数优化_hive 分析 大数据_hive高级优化_oldwlc
09-23
Hive提供了丰富的内置函数，包括聚合函数（如SUM、AVG、COUNT等）、转换函数（如TO_DATE、TRIM等）和窗口函数（如LEAD、LAG、RANK等）。高级分析函数如统计学习函数（如KMEANS、NAIVE_BAYES等）和时间序列分析函数...
大数据 java hive udf函数的示例代码（手机号码脱敏）
08-19
<artifactId>hive-exec</artifactId> <version>${hive.version}</version> </dependency> </dependencies> <build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-...
大数据之Hive详解
06-15
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件...本课程从基本概念,hive和mysql软件的安装入手,讲解hive的数据类型,DDL和DML操作,以及常用的查询和函数的使用,让你快速入门hive,即刻成为大数据程序员.
HIVE行转列和列转行
jiantianming2的博客
01-28 1万+
行转列 select dt_month,valid_num,unvalid_num from test.test_xw_rowtocol 数据如下 转换要求：行转列需保留列名，如下图 方式一：采用union all的形式 select dt_month ,'valid_num' as type ​ ,sum(valid_num) as num
Hive sql 行列转换(行转列，列转行)
Ajekseg的博客
07-29 6900
是concat的特殊形式，第一个参数是分隔符，分隔符会放到要连接的字符串之间,分隔符可以是字符串，也可以是其他参数。lateralview首先为原始表的每行调用UDTF，UTDF会把一行拆分成一或者多行，lateralview再把结果组合，产生一个支持别名表的虚拟表。select分类字段,concat_ws(’,’,collect_set(合并字段))as别名fromtable_namegroup分类字段;例concat_ws(‘,’,[‘a‘,‘b’])–>‘a,b’...
hivesql行转列和列转行
korry24的博客
03-13 2944
hivesql行转列和列转行。
Hive的行列转换（行转多列、多列转行、行转单列、单列转行）
qq_43709558的博客
01-11 2428
hive
大数据学习（九）hive中行转列 列转行（都附带例子）
weixin_44702289的博客
09-03 1389
hive函数
Hive中的行转列和列转行
最新发布
zhr2415658919的博客
12-05 3383
在使用Hive的数据开发工作中，为了处理复杂的业务需求，经常要用到行转列或列转行的操作。为了节省以后处理这类工作的时间，提高工作效率，现将Hive行列互转的操作方法总结如下。列转行，顾名思义，将原本某列中一行的数据拆分为多行，该操作会使得数据行数增多。我们采用的方法是使用LATERAL VIEW语法，配合explode函数（或其他UDTF）Hive中是有可以直接将一行输出为多行的函数的（即UDTF），比如explode函数，举一个例子来说明这个函数的用法，数据集如下： 其中score字段为数组ARRAY(B
Hive自带Function使用及UDF编程
Wonf的博客
03-28 2698
Hive的自定义function
Hive学习笔记（七）—— 查询 （高级）
weixin_45417821的博客
10-23 306
文章目录高级查询部分1. CASE WHEN / IF 高级查询部分 1. CASE WHEN / IF 数据准备 name dept_id sex 悟空 A 男 大海 A 男 宋宋 B 男 凤姐 A 女 婷姐 B 女 婷婷 B 女 2．需求 求出不同部门男女各多少人。结果如下： A 2 1 B 1 2 3．创建本地 emp_sex.txt，添加数据 悟空 A 男 大海 A 男 宋宋 B 男 凤姐 A 女 婷姐 B 女 婷婷 B 女 4．创建 hive 表并导
简单点，搬砖的方式简单点，hive mysql 导入数据的UDF，分享给小伙伴们
xiao_jun_0820的专栏
11-30 2197
我们使用hive一般是执行离线统计分析，然后将执行的结果导入到Mysql的表中供前端报表可视化展现来查询。 导回mysql的方式有许多，以前是用sqoop导回Mysql,还有人用hive jdbc查询然后将结果拉回到代码层面，再在代码层面用mysql jdbc写回Mysql数据库。 但是这两种方式都会有一个二次处理环节（虽然我们以前实现了SQL的解析可以把sqoop的操作对使用者来说透明化，比
升级至Hive 3.1.3：大数据仓库的性能革新
资源摘要信息:"Apache Hive 3.1.3 源码包是一个开源的大数据仓库工具，用于处理大规模数据集。随着数据仓库需求的增长，Hive 3.1.3带来了一系列改进，包括对ACID事务处理的支持以及对查询性能的显著提升。本次更新...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值