理解Hadoop

前言

Hadoop这个生态圈，被越来越多的人熟悉与使用。离线数仓的建设更离不开Hadoop生态圈相关组件的支持，因此打算从三个方面简单梳理Hadoop，这三个方面分别是Hadoop是什么？Hadoop能干什么？Hadoop如何用？  

Hadoop是什么

Hadoop是一个存储与分析海量数据的工具

Hadoop核心部件

• Hdfs：分布式文件存储系统，负责分布式文件的存储与读取。hdfs中包含两个部分namenode与datanode，namenode负责存放元数据信息，datanode负责存放实际数据。
• MapReduce：分布式计算框架，把计算任务进行拆分，分配到集群服务器里面执行。
• Yarn：负责资源的调度与统一管理

Hadoop能干什么

• 分布式存储：基于Hdfs的分布式存储
• 分布式计算：基于MapReduce的分布式计算

Hadoop如何使用

• 搭建Hadoop集群
• 文件上传到Hadoop集群，实现分布式存储
• 编写MapReduce程序计算任务

参考文章

https://blog.csdn.net/qq_32649581/article/details/82892861