Hadoop中各组件的作用

Hadoop=HDFS+Yarn+MapReduce+Hbase+Hive+Pig+Zookeeper+Hbase+Hive+Sqoop

1.HDFS:分布式文件系统,适合一次写入，多次读出的场景。一个文件经过创建、写入和关闭 之后就不需要改变。

2.Yarn:分布式资源管理系统，用于同一管理集群中的资源（内存等）       

3.MapReduce:Hadoop的编程框架，用map和reduce方式实现分布式程序设计，类似于Spring。

4.Pig:MapReduce的一个抽象，它是一个工具/平台（所以说它并不完全是一门语言），用于分析较大数据集，并将其表示为数据流；

5.Zookeeper：分布式集群管理、master选举、消息发布订阅、数据存储、分布式锁等等。分布式协调服务，用于维护集群配置的一致性、任务提交的事物性、集群中服务的地址管理、集群管理等

6.Hbase:Hadoop下的分布式数据库，类似于NoSQL     

7.Hive:数仓工具，Hive进行数据离线批量处理时，需将查询语言先转换成MR任务，由MR批量处理返回结果，所以Hive没法满足数据实时查询分析的需求。

8.Sqoop:用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递