大数据面试总结

---

前言

大数据组件知识点整理，持续补充
loading。。。

---

一、Hadoop

1.简要概念

2.组件&作用

3.守护线程&作用

4.安全模式

5.HDFS优缺点

6.HDFS读写流程

7.HDFS脑裂

8.HA&Federation

9.Yarn的请求&调度

10.MapReduce的过程

11.MR的代码&如何使用

12.常用命令

13.搭建&各配置文件作用

14.遇到的问题&一些优化

1.HDFS参数调优

2.节点间数据均衡

3.基准测试

4.小文件问题

5.Hadoop宕机处理

---

二、Hive

1.简要概念

2.请求过程

3.语法解析过程

4.搭建

5.常用函数

6.优化

7.Load命令

8.自定义函数

9.自定义函数的使用

10.使用过程遇到什么问题，怎么解决的

---

三、HBase

1.简要概念

---

四、Zookeeper

1.简要概念

---

五、Flume

1.简要概念

2.组件

3.命令

4.配置文件编写

5.自定义拦截器

6.优化

1.小文件问题

2.fileChannel优化

---

六、Kafka

1.简要概念

2.组件

3.命令

4.Zookeeper的作用

5.Ack&Isr&HW&Leo

6.优化

1.压力测试

2.机器数量

---

七、Sqoop

1.简要概念

2.命令

3.参数

4.遇到的问题&处理

---

八、Impala

1.简要概念

2.使用需要注意什么

3.使用中和Hive有什么不一样，配合Hive使用需要注意什么

---

九、Azkaban

1.简要概念

---

十、数仓

1.分层

2.建模

3.几种类型的表

4.lambda架构&kappa架构

5.初始化&增量&全量导数

---

十一、Shell

1.集群启动

2.参数sh编写

---

十二、ELK

1.简要概念

---

十三、Redis

1.简要概念

---

十四、Spark

1.简要概念

---

十五、Flink

1.简要概念

---

总结

总结