大数据技术栈概述

一、Hadoop

1.1 Hadoop是什么？

1. Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
2. 主要解决，海量数据的存储和海量数据的分析计算问题。
3. 广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈。

1.2 Hadoop组成

---

1.2.1 HDFS

Hadoop Distributed File System，简称 HDFS，是一个分布式文件系统。

1.2.2 HDFS概述

1.2.3 HDFS优缺点

1.2.4 HDFS组成框架

1.2.5 HDFS文件块

---

1.3.1 Yarn

Yet Another Resource Negotiator 简称 YARN ，另一种资源协调者，是 Hadoop 的资源管理器。

1.3.2 YARN架构概述

---

1.4.1 MapReduce

MapReduce 将计算过程分为两个阶段：Map 和 Reduce

1）Map 阶段并行处理输入数据

2）Reduce 阶段对 Map 结果进行汇总

1.4.2 MapReduce 概述

1.4.3 MapReduce 优缺点

1.4.4 MapReduce 架构概述

---

 1.3 HDFS、YARN、MapReduce 三者关系

---

二、Zookeeper(动物管理员)

2.1 概述

Zookeeper 是一个开源的分布式的，为分布式框架提供协调服务的 Apache 项目。

2.2 工作机制

2.3 特点

2.4 应用场景

 

2.5 zookeeper部分问题

---

三、Hive

3.1 概述(Hive 是为数据仓库而设计的)

3.2 优缺点

---

四、Sqoop

4.1 概述

4.2 原理

---

五、Scala(编程语言)

5.1 为何学Scala？

5.2 Scala特点

---

六、Spark(批处理数据)

6.1 什么是Spark

6.2 Spark和Hadoop关系

6.3 Spark和Hadoop如何选择

6.4 Spark核心模块

---

七、Flume

7.1 概述

7.2 flume架构 

 

---

八、Kafka

8.1 定义

8.1.1 消息队列

8.1.2 消息队列应用场景

 

8.1.3 消息队列模式

8.2 kafka架构

---

九、Flink(流式处理数据)

Flink 是 Apache 基金会旗下的一个开源大数据处理框架。

Flink 是一个大数据流处理引擎，它可以为不同的行业提供大数据实时处理的解决方案。

9.1 Flink核心特性

9.2 Flink分层Api

9.3 相较于Spark，更推荐Flink处理实时流处理