大数据最全hive 中少量数据验证函数的方法-stack(1)，腾讯3轮面试都问了大数据开发事件分发

最新推荐文章于 2024-07-06 02:09:50 发布

2401_84592149

最新推荐文章于 2024-07-06 02:09:50 发布

阅读量395

点赞数 3

分类专栏：程序员文章标签：大数据面试学习

本文链接：https://blog.csdn.net/2401_84592149/article/details/138903623

版权

程序员专栏收录该内容

58 篇文章 0 订阅

订阅专栏

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

) as (pro_name,city_name,sale_num,sale_date)

)
select
*
from (
select
t.pro_name,
t.city_name,
t.sale_cnt,
row_number() over(partition by pro_name order by sale_cnt desc) as rnk
from (
select
pro_name,
city_name,
sale_num,
sum(sale_num) as sale_cnt
from temp_data
group by pro_name,city_name
) t
) t1
where t1.rnk = 1
;



> 
> lag: 将数据按照从小到大的顺序,将首次出现的,数据字段往后置一行,并且第一条数据使用Null填充  
>  lead:将数据按照从小到大的顺序,将首次出现的数据往后置一行,并且第一条数据使用Null进行填充
> 
> 
> 


2、求股票的波峰和波谷  
 波峰：当天的股票价格大于前一天和后一天  
 波谷：当天的股票价格小于前一天和后一天  
 数据准备： stock表有3个字段： stock\_name（股票名称）、stock\_price（股票价格）、stats\_date（日期）


源数据：  
 ‘A’,‘20210621’,‘13’  
 ‘A’,‘20210622’,‘11’  
 ‘A’,‘20210623’,‘17’  
 ‘A’,‘20210624’,‘12’  
 ‘A’,‘20210625’,‘14’  
 ‘B’,‘20210621’,‘16’  
 ‘B’,‘20210622’,‘12’  
 ‘B’,‘20210623’,‘12’  
 ‘B’,‘20210624’,‘17’  
 ‘B’,‘20210625’,‘13’


结果：  
 stock\_name stats\_date stock\_price price\_type  
 A 20210621 13 其他  
 A 20210622 11 波谷  
 A 20210623 17 波峰  
 A 20210624 12 波谷  
 A 20210625 14 其他  
 B 20210621 16 其他  
 B 20210622 12 其他  
 B 20210623 12 其他  
 B 20210624 17 波峰  
 B 20210625 13 其他


答：  
 with temp\_data as (  
 select stack(10,  
 ‘A’,‘20210621’,‘13’  
 ,‘A’,‘20210622’,‘11’  
 ,‘A’,‘20210623’,‘17’  
 ,‘A’,‘20210624’,‘12’  
 ,‘A’,‘20210625’,‘14’  
 ,‘B’,‘20210621’,‘16’  
 ,‘B’,‘20210622’,‘12’  
 ,‘B’,‘20210623’,‘12’  
 ,‘B’,‘20210624’,‘17’  
 ,‘B’,‘20210625’,‘13’  
 ) as (stock\_name,stock\_date,stock\_price)  
 )  
 select  
 t.stock\_name,  
 t.stock\_date,  
 t.stock\_price,  
 case when t.stock\_price < t.lag\_price and t.stock\_price < t.lead\_price then ‘波谷’  
 when t.stock\_price > t.lag\_price and t.stock\_price > t.lead\_price then ‘波峰’  
 else ‘其他’ end as price\_type  
 from (  
 select  


![img](https://img-blog.csdnimg.cn/img_convert/91dc1ff5bd38da2bac601cb75e02b632.png)
![img](https://img-blog.csdnimg.cn/img_convert/25218ff4bd7c30f42374d225e73098a4.png)

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

28)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**