- 博客(14)
- 资源 (2)
- 收藏
- 关注
RSS订阅
1原创 2021年9面试总结
16年硕士毕业后在成都干了一年大数据平台开发，17年到北京京东物流做了三年BI、数仓、数据分析等工作，20年辞职回老家创业失败，21年9月想回北京再工作，面了有四家公司，做一个小总结。1、美团 给美团投的是数仓的岗位，部门是美团的配送事业部。一上来先自我介绍，聊了聊在京东做过的数仓工作，说了说一般指标和建模的流程。其中技术上问的有：数仓建模理论 星型、环型等模型的优势和劣势 mapreduce的过程 如何解决数据倾斜 实际项目中说说优化SQL的经历 ...
2021-09-12 11:18:41
160
原创 大规模导出线上HBsase数据出现的问题总结
场景再现：公司使用HBase作为底层存储方案，但随着业务的发展，数据量越来越大，理论上来说只要一直加机器就不存在任何问题，但这显然是不可能的。我们提出的解决方案是将一年以上的数据作为冷数据从HBase中导出来进行压缩后存到HDFS中，如果业务方要分析这部分的数据可以再关联hive表用sparkSQL做数据挖掘等。在删数据前必须要把HBase中的数据导出到HDFS中。解决过程：
2017-04-28 15:26:54
467
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人