大数据面试题汇总

1.where,group by谁先执行
总结一下hive语句的执行顺序。
在hive的执行语句当中的执行查询的顺序:
这是一条sql:
select … from … where … group by … having … order by … 
执行顺序:
from … where … select … group by … having … order by …
其实总结hive的执行顺序也是总结mapreduce的执行顺序:
MR程序的执行顺序:
map阶段:
1.执行from加载,进行表的查找与加载
2.执行where过滤,进行条件过滤与筛选
3.执行select查询:进行输出项的筛选
4.执行group by分组:描述了分组后需要计算的函数
5.map端文件合并:map端本地溢出写文件的合并操作,每个map最终形成一个临时文件。 然后按列映射到对应的reduceReduce阶段:
Reduce阶段:
1.group by:对map端发送过来的数据进行分组并进行计算。
2.select:最后过滤列用于输出结果
3.limit排序后进行结果输出到HDFS文件

2.数据库四大特性及数据库隔离级别
https://blog.csdn.net/sinat_35322593/article/details/81040479
https://blog.csdn.net/FG2006/article/details/6937413

3.有三个线程T1 T2 T3,如何保证他们按顺序执行
https://blog.csdn.net/qq_35571554/article/details/82834486

4.分布式锁
https://blog.csdn.net/wuzhiwei549/article/details/80692278

5.zookeeper崩溃恢复
就是zookeeper的非全新集群的master选举过程
https://blog.csdn.net/asd1456732891/article/details/100174473

6.ThreadLocal(应用场景是存放每个连接的session)
https://blog.csdn.net/qq_23315711/article/details/78642171

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值