初识Hadoop

hadoop概念:

   Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。

核心组件:

   1、Hadoop Common,是Hadoop的基础工具类库,为其他模块提供通用工具

   2、Hadoop Distributed File System(HDFS),分布式文件存储系统,可以存储海量数据

   3、Hadoop YARN,是Hadoop2.0以后版本提供的job调度和分布式资源管理框架

   4、Hadoop MapReduce,基于YARN系统的并行处理大数据集的编程模型,主要思想是分而治之。

   其中,HDFS、YARN、MapReduce是Hadoop中最为核心的组件。

Hadoop相关的项目:

    Ambari:一个基于web的工具,用来供应、管理和监测Apache Hadoop集群,包括支持Hadoop HDFS、Hadoop MapReduce、Hive、HCatalog、HBase、ZooKeeper、Oozie、Pig和Sqoop。Ambari 也提供一个可视的仪表盘来查看集群的健康状态(比如热图),并且能够以一种用户友好的方式根据其特点可视化的查看MapReduce、pig和Hive 应用来诊断其性能特征。

      Avro :数据序列化系统。

      Cassandra :可扩展的多主节点数据库,而且没有单节点失败情况。

      Chukwa : 管理大型分布式系统的数据收集系统

      HBase ; 一个可扩展的分布式数据库,支持大表的结构化数据存储

      Hive : 一个提供数据概述和AD组织查询的数据仓库

      Mahout :可扩展大的机器学习和数据挖掘库

      Pig :一个支持并行计算的高级的数据流语言和执行框架

     Spark : 一个快速通用的Hadoop数据的计算引擎。spark 提供一个简单和富有表现力的编程模型并支持多领域应用,包括ETL、机器学习、流处理 和图计算。

       Tez : 一个通用的数据流处理框架,构建在Hadoop YARN上,提供一个有力的灵活的引擎来执行一个任意的DAG任务来处理数据(批处理和交互式两种方式)。Tez 可以被Hive、Pig和其他Hadoop生态系统框架和其他商业软件(如:ETL工具)使用,用来替代Hadoop MapReduce 作为底层的执行引擎。

        ZooKeeper :一个应用于分布式应用的高性能的协调服务。

 

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值