大数据
if_watermelon
i am a hearer,i am a header.
展开
-
Hive中实现有序,有序concat拼接,有序集合,hive方法操作命令,与自带方法列表
前言记得以前用过这个函数,这次开发怎么都找不到了,不常用的原因,也是笔记没做好方法一GROUP_CONCAT(distinct id ORDER BY id DESC SEPARATOR ‘_’)好像是用过的这个报错:Invalid function GROUP_CONCAT可能是版本问题:当前hive版本:hive-common-2.1.1-cdh6.2.0 apache-hive-1.2.1-也没有这个函数原创 2020-12-04 11:00:51 · 3918 阅读 · 0 评论 -
HIVE函数
show functions;desc function xxx;窗口函数row_number:row_number() over(distribute by dt sort by score desc) 没有并列,相同名次顺序排rank:有并列,相同名次空位 dense_rank:有并列,相同名次不空位lag:向上取第n行的数据lead:向下取...原创 2020-03-04 18:26:43 · 516 阅读 · 0 评论 -
大数据常用组件流程
MR加粗样式1.MapTask调用Inputformat方法创建一个RecordReaderRecordReader以此调用nextkeyvalue getcurrentkey getcurrentvalue方法获取<K,V>传递给Mapper类,每读取一行数据就会调用一次map方法,然后将通过逻辑处理后的<K,V>输出到OutputCollector2.Coll...原创 2020-02-17 16:49:39 · 698 阅读 · 0 评论