大数据面试题目_综合面试_hadoop面试题_hive面试题_sqoop面试题_spark面试题_flume面试题_kafka面试题---大数据面试题007

大数据面试:
1.说一下hadoop的集群部署模式有哪几种,完全分布式如何部署以及配置?
2.hadoop的守护进程有哪些?
2.之前的公司,为什么要离职?
3.之前公司的待遇工资多少?
4.用Flink处理过什么场景的业务,是如何实现的,说一下流程?
5.有没有用过NIFI?
6.做的时候后端是如何做的,用的什么框架?有没有了解过springcloud Tencent?
7.hadoop中的代理用户功能的作用,和原理
8.如果做一个系统多活机制,有什么思路?
9.如果自己实现一个系统自动弹性伸缩功能有什么思路?
10.Flink如何在分布式,数据流在多机器处理的情况下保证精确一次性消费的?
11.Flink的部署和使用模式?你们是怎么来使用Flink的?
Flink 保证精确一次性消费主要依赖于两种Flink机制
1、Checkpoint机制
2、二阶段提交机制
Checkpoint机制 主要是当Flink开启Checkpoint的时候，会往Source端插入一条barrir，然后这个barrir随着数据流向一直流动，
当流入到一个算子的时候，这个算子就开始制作checkpoint，制作的是从barrir来到之前的时候当前算子的状态，将状态写入状态后端当中。
然后将barrir往下流动，当流动到keyby 或者shuffle算子的时候，例如当一个算子的数据，依赖于多个流的时候，这个时候会有barrir对齐，
也就是当所有的barrir都来到这个算子的时候进行制作checkpoint，依次进行流动，当流动到sink算子的时候，
并且sink算子也制作完成checkpoint会向jobmanager 报告 checkpoint n 制作完成。
二阶段提交机制 Flink 提供了CheckpointedFunction与Ch