hive
_漫步蜗牛_
这个作者很懒,什么都没留下…
展开
-
Hive中分析函数的使用
Hive中分析函数的使用前言一、常用的分析函数二、分析函数的应用1.两张数据表2.需求场景前言Hive中也支持分析函数(也叫窗口函数)的使用,数据开发中使用分析函数的情况非常之多,可以极方便的得到想要的数据呈现,便于分析。一、常用的分析函数ROW_NUMBER() 从1开始,按照顺序,生成分组内记录的序列,不会产生重复排名,若根据排序条件有相同的,则进行随机排序。1 2 3 4 5…RANK() 生成数据项在分组中的排名,排名相等会在名次中留下空位,1 2 2 4 5DENSE_RA..原创 2020-12-12 20:53:17 · 456 阅读 · 0 评论 -
Hive中的两种行列转换
Hive中的两种行列转换1.将列上的多个值打成一行(多列)的行列转换案例一场景一(列转行)场景二(行转列)2.字符串合并与拆分形式的行列转换案例二场景一(列转行)场景二(行转列)总结1.将列上的多个值打成一行(多列)的行列转换案例一场景一(列转行)数据如下:name item score张三 数学 58张三 英语 83张三 语文 89李四 数学 67李四 英语 35李四 语文 92王五 数..原创 2020-12-01 18:28:02 · 1440 阅读 · 0 评论 -
Hive中字段和表注释中文乱码
Hive中字段和表注释中文乱码hive中乱码修改方法1.hive的元数据库字符集修改2.hive-site.xml配置修改3.修改表注释和字段注释总结hive中乱码建表如下:CREATE EXTERNAL TABLE ods_user ( user_num STRING COMMENT '用户编号', mobile STRING COMMENT '手机号码', reg_date STRING COMMENT '注册日期')COMMENT '用户资料表'PARTITI..原创 2020-11-08 00:41:05 · 719 阅读 · 0 评论 -
Map join和Common join详解
利用hive进行join连接操作,相较于MR有两种执行方案,一种为common join,另一种为map join ,map join是相对于common join的一种优化,省去shullfe和reduce的过程,大大的降低的作业运行的时间。 一.先决条件 emp表 hive...转载 2020-10-24 15:25:10 · 428 阅读 · 0 评论