hive
All is well-.-
这个作者很懒,什么都没留下…
展开
-
mapreuce1.0局限性
1.扩展性差--MR1.0使用jobTracker负责集群的资源管理和作业控制,这成为系统最大瓶颈,严重制约了Hadoop集群扩展性。2.可靠性差--MR1.0采用Master-Slave结构,单个namenode和多个datanode,其中master存在单点故障,一旦出现故障将导致整个集群不可用。3.资源利用率低--MR1.0采用了槽位的资源分配模型,槽位是一种粗粒度的资源划分单位,通常一个任务无法使用完槽位对应资源,且其他任务无法使用这些空闲资源。此外,Hadoop将槽位分为Map slo原创 2021-04-26 20:21:49 · 1192 阅读 · 0 评论 -
记录小菜鸟2021年春招求职的过程
2020年疫情解封从老家来深圳后,开始自己的跳槽之旅,但是颇为不顺。因为上一家公司待着特别安逸,工作中也没用到什么技术,靠着临时抱佛脚学了一点数仓搭建相关的知识,就开始面试了。当时找工作就是想着找个薪资高一点的工作,在快一个月的样子左右终于面试上了一家公司。进来之后让我体会到了什么是互联网行业的福报。996在这里都算不上什么,加班最严重的几个同事连续通宵几个月,每天只睡6、7小时,还没有加班工资!!!我在坚持了大半年之后(主要看在和自己上份工资的工资对比之后,看起来还不错),年底向领导提出辞职了...原创 2021-04-23 01:06:51 · 165 阅读 · 0 评论 -
hive窗口函数
窗口函数:row_number(),rank(),dense_rank()row_number()对指定列进行排序,若该列出现重复值,也会进行连续排列。如:rank():对指定列进行排序,若该列出现重复值,相同值会进行连续排列,不同值会跨越排名号排列。如:dense_rank():对指定列进行排序,若该列出现重复值,相同值会进行连续排列,后面不同值会和前面排列保持一致。如:...原创 2021-04-17 15:06:16 · 104 阅读 · 0 评论