一、Flink:
1,说说Flink的内存管理是如何做的?
Flink并不是将大量对象存在堆上,而是将对象都序列化到一个预分配的内存块上。此外,Flink 大量的使用了堆外内存。如果需要处理的数据超出了内存限制,则会将部分数据 存储到硬盘上。Flink 为了直接操作二进制数据实现了自己的序列化框架。
理论上 Flink 的内存管理分为三部分:
Network Buffers:这个是在 TaskManager 启动的时候分配的,这是一组用于缓存网络数据的内存,每个块是32K,默认分配 2048个,可以通过“taskmanager.network.numberOfBuffers” 修改。
Memory Manage pool:大量的 Memory Segment 块,用于运行时的算法(Sort/Join/Shuffle 等),这部分启动的时候就会分配。
User Code:这部分是除了 Memory Manager 之外的内存用于 User code 和 TaskManager 本身的数据结构。
2,Flink是如何做容错的?
二、Clickhouse:
1,请描述一下Clickhouse的应用场景和限制
2,Clickhouse为什么这么快?
2.1.1、硬件方面
Clickhouse会在内存中进行Group By,并使用HashTable装载数据。与此同时,CH对于CPU L3级别的缓存也特别在意,因为一次L3级别缓存的失效都会带来70~100ns,积少成多。一个32G,则可能会浪费5亿次/秒的运算。也正是因为如此,CH能在基准查询中做到1.75亿次/秒的数据扫描能力
2.1.2、算法方面
常量方面,CH使用了Volnisky算法;非常量,则使用CPU的向量化执行SIMD来优化;正则使用re2和hyperscan算法。
2.1.3、应景优化
CH会在不同的场景使用不同的算法。例如,在去重函数uniqCombined中,会根据数据量选择不同的算法:数据量比较少的时候,会选择使用Array来保存;数据量中等的时候,使用HashSet;数据量很大的时候,会使用HyperLogLog算法。
2.1.4、向量化
CH使用向量化执行。SIMD被广泛地应用于文本转换、数据过滤、数据解压和JSON转换等场景。相对于单纯使用CPU,利用寄存器暴力优化也算是一种降维打击
2.1.5、持续测试和持续改进
一个好的产品,肯定是能很好应用于各种场景的。CH由于拥有Yandex的天然优势,经常会使用真实数据来进行测试,尝试使用于各个场景。也因此获得了快速的版本更新换代,基本维持在一个月一更新。
三、kafka:
1,kafka producer如何优化打入速度
2,kafka是怎么体现消息顺序性的
四、HDFS:
1,一个DataNode宕机怎么恢复?
Datanode宕机了后,如果是短暂的宕机,可以实现写好脚本监控,将它启动起来。如果是长时间宕机了,那么datanode上的数据应该已经被备份到其他机器了,
那这台datanode就是一台新的datanode了,删除他的所有数据文件和状态文件,重新启动。
2,NameNde和SecondaryNameNode的区别与联系
区别:
NameNode负责管理元数据和文件信息
SecondaryNameNode主要用于定期合并Fsimage 和Edits
联系:
SecondaryNameNode中保存了一份和Namenode一致的Fsimage 和Edits 。在Namenode发生故障时,可以从SecondaryNameNode恢复数据,虽然已经不是最新的 Fsimage (SecondaryNameNode从 NameNode 下载 fsimage 和 Edits 文件的时候,新的更新操作已经写到 edit.new 文件中去了) ,但是我们可以将损失减小到最少。
Edits 日志文件存放的是HDFS所有的更改操作日志。
Fsimage 有最新的元数据和HDFS的文件和目录信息,但不包含文件块位置信息,文件块位置信息只存储在内存中。
每个NameNode启动的时候会将Fsimage和Edits 进行合并,保证内存中的元数据是最新的。当客户端对 HDFS 中的文件进行操作时,操作记录首先被记入 Edits 日志文件中,当客户端操作成功后,元数据会更新到内存。每达到触发条件,会由 SecondaryNameNode 将 NameNode 上积累的所有 Edits 和一个最新的 Fsimage 下载到本地,并加载到内存进行合并,生成一个新的 Fsimage 文件并复制到 NameNode 。
五、Hbase:
1,hbase宕机如何处理?
2,JavaAPI如何操作Hbase?
六、hive:
1,描述数据中的null在hive的底层是如何存储的?
2,Hive内部表和外部表的区别?
七、Java:
1,Java中多线程有几种实现方式,常见的线程池有几种?
2,描述下JVM 的内存模型,简述一下JVM的GC过程