阿里-数据研发-暑期实习-一二+HR面记录

一面

3.17 礼拜三 一面

1. 聊项目

2. 简述hadoop结构（or你所了解的hadoop？）
   大概从hive，组件，mapreduce几个方面聊了下，感觉答得有点笼统简略，主要之前一直以为会问细节，没想到是整个结构答，稍微有点没接住

3. mapreduce的流程
   从mapper到combiner到reducer大概答了一轮，同上，一时被太大的问题懵到，没有详细说，后来感觉应该用wordcount的例子说一遍的

4. 当hive数据倾斜时的优化（即实习中有遇到倾斜的情况吗，怎么解决的）
   join上要左表小于右表（但这个问题在hadoop2上被修复了，稍微补了一句）尽量避免使用count distinct，这里答得也有点杂乱，感觉被局限在hive上本身sql语句的优化了，没有细到mapper和reducer上的调优，这里应该和面试官确认的
   面试结束后总结时想到还可以有将null值赋随机值，以及避免join时用where造成笛卡尔积爆炸

5. 对笔试结果有什么想法吗……（做得很崩，呜呜）
   不熟悉acm模式，不常刷题etc…（是真的不大喜欢也来不及刷题

6. 反问，是否需要能够更加精进hadoop的底层构架，还是偏应用
   被说还是需要补一下基础的，比如spark和一些组件还是要了解，另外也需要知道ETL以及数据分层方面的逻辑，这里追问了一下分层就是指区分为dw，ods等库级别吗，