大数据 相关组件 大全 简述

大数据相关组件大全简述

本文提到的有：Hadoop，HDFS，MapReduce，Yarn，Zookeepe，Hive，HBase，Kafka，Storm，Sqoop，Flume，Scala，Spark

Hadoop

是一个由Apache基金会所开发的分布式系统基础架构
主要解决，海量数据的存储和海量数据的分析计算问题。
HADOOP通常是指一个更广泛的概念——HADOOP生态圈
Hadoop = HDFS + MR + YARN

HDFS（Hadoop Distributed File System）

是分布式文件管理系统
作用：管理多台机器上的文件
HDFS的设计适合一次写入，多次读出的场景，且不支持文件的修改。
优点：高容错性（副本），适合大数据处理，可构建在廉价机器上，通过多副本机制，提高可靠性
缺点：不适合低延时数据访问，无法高效的对大量小文件进行存储（占用NameNode大量的内存），不支持并发写入、文件随机修改。

MapReduce

是一个分布式运算程序的编程框架
优点：易于编程，良好的扩展性，高容错性，适合PB级以上海量数据的离线处理
缺点：不适合流式计算，实时计算，DAG计算
有map，reduce两个阶段