某国企-大数据开发-二面

本文讲述了作者的离职经历,详细解释了HDFS的读写流程,讨论了小文件问题的产生、解决策略以及数据倾斜的原因。作者还分享了工作中遇到的困难和成就感,以及Superset的配置和使用的工具集。
摘要由CSDN通过智能技术生成

1.自我介绍

2.离职原因

3.说下hdfs读写流程

4.小文件问题。小文件怎么产生的。如何解决的,小文件多大。  

5.datanote挂了怎么办,小文件会造成那些问题

6.数据倾斜的原因有哪些

7.之前工作中遇到过得最困难的问题,提1~2个

8.工作中最有成就感的事情

9.零点漂移问题

10.superset可以设置参数吗

11.用到的工具有哪些。

12.有什么想问的

 

我在回答小文件的时候有点卡住了,因为我说小文件大小的时候,说小文件大小为16k认为是小文件,  然后面试官问为什么,我说因为mapjoin默认小文件大小是16k,达到256k会进行滚动。

显然不是一个正确的理由。   

然后想起来自己说话有点卡顿,但我还是说完了

 

 

 

 

  • 6
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值