![](https://img-blog.csdnimg.cn/20201118170745669.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据面试问题
文章平均质量分 92
大数据相关技术组件面试企业一般会问到的问题
風再起时
抱着沙发 睡眼昏花 凌乱头发
夕阳西下 接通电话 是你呀
展开
-
阿里巴巴大数据技术专家岗面试题
阿里巴巴大数据技术专家岗面试题一面二面三面四面一面简单介绍一下自己以及自己做过的项目;Java HashMap 是不是线程安全的?为什么?请用 Java 写个单例模式知道几种 GC 算法?如何实现一个高效的单项列表逆向输出?数据湖和数据仓库有什么区别?详细介绍下 Flink 的 Checkpoint 执行机制(分布式快照)算法题:寻找两个正序数组的中位数二面如何在两个进程间共享数据?线程呢?如何在 main 函数里面等待一个线程执行完毕?用MapReduce手写一个wordc原创 2020-12-23 12:02:50 · 997 阅读 · 3 评论 -
大数据相关企业面试问题 二(Kafka、Spark)
大数据相关企业面试问题 (二)1.Kafka2.Spark3.其他1.Kafka1.Kafka如何保证数据一致性答:一致性定义:若某条消息对Consumer可见,那么即使Leader宕机了,在新Leader上数据依然可以被读到1.HighWaterMark简称HW: Partition的高水位,取一个partition对应的ISR中最小的LEO作为HW,消费者最多只能消费到HW所在的位置...原创 2020-04-19 23:43:15 · 281 阅读 · 0 评论 -
大数据相关企业面试问题 一(hadoop、hive、hbase、flume)
1.Hadoop1.mapreduce如果单纯的想增加map的数量提高并行度该怎么做?答:①具体的数据分片是这样的,InputFormat在默认情况下会根据hadoop集群的DFS块大小进行分片,每一个分片会由一个map任务来进行处理;正常的map数量的大致是每一个Node是10~100个,对于CPU消耗较小的作业可以设置Map数量为300个左右,但是由于hadoop的每一个任务在初始化时需...原创 2020-04-19 15:27:30 · 336 阅读 · 0 评论